主要观点总结
本文介绍了关于大型语言模型（LLM）是否具备组合关系推理（CCR）能力的研究。为了评估LLM在组合推理任务中的表现，研究者开发了一个名为广义关联回忆（GAR）的基准测试。文章详细描述了GAR的设计原理、任务特点、现有模型的表现、模型内部的推理机制以及对关键注意力头的干预提升LLM表现的研究。此外，文章还讨论了这项研究的意义和对未来研究的启示。
关键观点总结
关键观点1: GAR基准测试的设计原理及特点
研究者注意到目前大多数用于测试LLM的任务无法真实反映模型在复杂推理场景下的表现，于是设计了GAR基准测试。GAR整合了多个经典任务，并通过不同的任务形式和难度等级，系统地考察模型的推理能力。其特点包括：挑战性高、适合深入研究、任务多样化和复杂度高等。
关键观点2: 现有模型在GAR上的表现
通过对主流开源和闭源模型的测试发现，任务难度显著影响模型表现，模型在回答任务的各个子问题时可能表现良好，但无法正确组合这些答案以得出最终结论。模型规模与性能虽呈正相关，但“组合性差距”更明显，增加模型规模并不能完全解决这个问题。有趣的是，尽管它对最先进的LLM都具有挑战性，但对人类来说却非常简单。
关键观点3: 模型内部的推理机制及关键注意力头的作用
为了理解LLM如何解决GAR任务，研究者采用了归因补丁的方法。研究发现核心回路、注意力头的作用以及True/False头的存在保证了可预测性。这些头在不同任务和模型中扮演了重要角色，是组合推理能力的基础。
关键观点4: 通过干预关键注意力头提升LLM表现的方法
研究者通过对True/False头的干预实验，证明了这些头在模型推理中的关键作用，并发现干预这些头可以提升模型的准确率。这一发现为未来的模型改进提供了启示。
关键观点5: 研究意义
这项研究首次明确指出了LLMs在组合关系推理任务中的核心缺陷，并通过实验揭示了模型内部的关键推理机制。这不仅加深了我们对LLMs工作原理的理解，也为模型改进提供了启发和洞见。
文章预览
来源 ：PaperWeekly 本文 约2600字 ，建议阅读 5分钟 本文为你回答GPT 这样的大型语言模型（LLM）是否具备组合关系推理（CCR）能力。 人类拥有一种强大的能力，能够理解多个实体之间复杂的关系并基于这些关系进行推理，这被称为 组合关系推理 （Compositional Relational Reasoning, CRR）。这种能力不仅是智能的标志，也是我们应对日常问题和复杂任务的核心技能。那么，像 GPT 这样的大型语言模型（LLM）是否具备这种能力？它们又是如何在内部处理这种任务的？ 为了回答这个问题，研究者开发了一个新的基准测试，称为 广义关联回忆 （Generalized Associative Recall, GAR），专门用来评估 LLM 在组合推理任务中的表现，并进一步研究模型如何解决这些任务。论文《Benchmarking and Understanding Compositional Relational Reasoning of LLMs》已被 AAAI 2025 接收。本工作由北京邮电大学和
………………………………
