专栏名称: 数据派THU
本订阅号是“THU数据派”的姊妹账号,致力于传播大数据价值、培养数据思维。
今天看啥  ›  专栏  ›  数据派THU

【NeurIPS2024】迈向统一的多模态编辑与增强的知识协作

数据派THU  · 公众号  · 大数据  · 2024-10-17 17:00
    

文章预览

来源:专知 本文 为论文介绍 ,建议阅读 5 分钟 我们进一步通过将知识表示解耦为语义空间和真实性空间来促进知识协作。 随着多模态大语言模型 (MLLMs) 的快速发展,有效的知识编辑也面临着巨大的挑战。现有方法,包括内在知识编辑和外部知识检索,各自具有优缺点,但在应用于 MLLMs 时,难以平衡可靠性、通用性和局部性等理想属性。在本文中,我们提出了一种新的多模态编辑方法 UniKE,它为内在知识编辑和外部知识检索建立了统一的视角和范式。两种类型的知识都被概念化为向量化的键值存储,其相应的编辑过程类似于人类认知中的同化和顺应阶段,且在相同的语义层次上进行。在这样一个统一框架内,我们进一步通过将知识表示解耦为语义空间和真实性空间来促进知识协作。大量实验验证了我们方法的有效性,确保编辑后的 MLLM 同时保持 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览