苹果一篇论文得罪大模型圈？Transformer不会推理，只是高级模式匹配器！所有LLM都判死刑

主要观点总结

苹果研究者发现大型语言模型（LLM）在推理能力方面存在缺陷，无法通过复杂的模式匹配器来进行真正的逻辑推理。研究通过多个实验，如GSM-Symbolic和GSM-NoOp数据集，证明LLM在处理数学问题时存在局限性，即使面临轻微改变的题目也难以应对。同时，《信仰与命运》等研究也证实LLM并没有真正的理解数学概念，而只是通过模糊模式匹配来寻找答案。这些研究警示我们，LLM的推理能力有待提高，需要探索新的方法如神经符号AI来结合神经机制和符号操作，以实现真正的逻辑推理。

关键观点总结

关键观点1: LLM被发现无法进行有效的逻辑推理，只能进行复杂的模式匹配。

苹果研究者通过一系列实验证明LLM在处理数学问题时存在局限性，无法理解和应用数学概念，只能通过模式匹配来回答问题。

关键观点2: LLM在处理轻微改变的题目时表现较差。

研究通过GSM-Symbolic和GSM-NoOp数据集等实验，发现LLM在面临题目换皮或包含无关信息时，性能会显著下降。

关键观点3: 大模型在逻辑推理上存在本质缺陷。

无论是将乘法拆解为有向图，还是一旦面对应用题中称谓和数字变换就答错，都反映了大模型在逻辑推理上的局限。

关键观点4: 未来AI发展需要结合神经机制和符号操作。

马库斯提出神经符号AI可能是未来AI发展的必要条件，将符号操作与神经网络结合，以实现真正的逻辑推理。

文章预览

   新智元报道   编辑：peter东 Aeneas 【新智元导读】 苹果研究者发现：无论是OpenAI GPT-4o和o1，还是Llama、Phi、Gemma和Mistral等开源模型，都未被发现任何形式推理的证据，而更像是复杂的模式匹配器。无独有偶，一项多位数乘法的研究也被抛出来，越来越多的证据证实：LLM不会推理！ LLM真的会推理吗？ 最近，苹果研究员发文质疑道：LLM根本没有不会推理，所谓的推理能力只是复杂的模式匹配罢了。 论文地址：https://arxiv.org/abs/2410.05229 这项研究也在AI社区引起了广泛讨论。 谷歌DeepMind科学家Denny Zhou表示，自己ICML 2023的一片论文中，也发现了类似现象。 Meta AI研究者田渊栋表示，梯度下降可能无法学习到这样的权重。 巧的是，AI2等机构在23年的一篇研究也被翻出，证实模型根本没有学会数学推理，只是在「照背」答案而已。 网友们搜罗了越来越多的 ………………………………