苹果一篇论文得罪大模型圈？Transformer不会推理，只是高级模式匹配器！所有LLM都判死刑

文章预览

LLM真的会推理吗？ 最近，苹果研究员发文质疑道：LLM根本没有不会推理，所谓的推理能力只是复杂的模式匹配罢了。 论文地址：https://arxiv.org/abs/2410.05229 这项研究也在AI社区引起了广泛讨论。 谷歌DeepMind科学家Denny Zhou表示，自己ICML 2023的一片论文中，也发现了类似现象。 Meta AI研究者田渊栋表示，梯度下降可能无法学习到这样的权重。 巧的是，AI2等机构在23年的一篇研究也被翻出，证实模型根本没有学会数学推理，只是在「照背」答案而已。 网友们搜罗了越来越多的学术证据，一致证明：LLM可能根本不会推理！ 图灵三巨头之一的LeCun，也在最近的万字演讲表示，Meta现在已经完全放弃纯语言模型，因为仅靠文本训练，它永远不可能达到接近人类水平的智能！ 目前Transformer架构的大语言模型，难道真的是一条弯路？ 换个马甲，大模型的数学能力就滑 ………………………………