专栏名称: 将门创投
将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。
今天看啥  ›  专栏  ›  将门创投

NeurIPS 2024 | 大模型知识表示的“知识回路”假说,深入理解大模型的知识机理

将门创投  · 公众号  · 科技创业  · 2024-12-11 08:22
    

文章预览

尽管大模型在常识理解、科学知识运用以及推理决策能力等方面展现出显著潜力,但仍存在如幻觉等知识偏差问题。 这些问题引发了关于大模型知识表示、存储和处理机制的深入探讨: 大模型的知识处理方式是否类似于人脑? 其能力是否可能超越人类? 知识图谱通过符号化方式显式描绘实体与概念之间的关系,而语言模型则依赖神经网络和注意力机制隐式连接知识元素。 以多跳推理为例,知识图谱提供可解释且可控的显式推理路径,而语言模型则通过隐含在参数空间中的注意力权重寻找答案,因而在解释性和可靠性方面存在不足。 为进一步探究大模型的知识处理机制,本文提出了“ 大模型知识表示的‘知识回路’(Knowledge Circuits)假说 ”。该假说认为,大模型在处理知识时,实体、概念和关系通过参数激活逐步构成闭合回路,从而为构建更 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览