苹果一篇论文把大模型圈子得罪了！“踩着”OpenAI、Meta大模型上位，Gary Marcus：早就说大模型不会推理！

主要观点总结

苹果公司研究人员近日发表了一篇关于大型语言模型（LLM）的论文，指出这些模型在处理数学推理任务时存在依赖模式匹配而非真正逻辑推理的问题。论文引发了广泛讨论，有网友质疑论文方法和结论，指出近年来人工智能论文质量令人担忧。同时，也有专家表示这个结论并非新鲜，并且呼吁结合人类对比的基线来评估模型性能。此外，关于大模型的推理能力和形式推理的话题也在业界引起关注。

关键观点总结

关键观点1: 论文主要内容及结论

苹果公司的研究人员测试了一系列领先的语言模型，包括OpenAI的GPT系列和Meta的LLama等模型，以评估它们在处理数学推理任务方面的能力。研究发现，这些模型在处理问题时存在依赖模式匹配而非真正逻辑推理的问题，问题措辞的细微变化会导致模型性能的重大差异。

关键观点2: 网友对论文的质疑和讨论

有网友对论文的方法和结论提出质疑，认为论文可能存在包装过度和夸大其词的问题。同时，也有网友表示担忧近年来人工智能论文的质量问题，认为大多数论文缺乏足够的深度和专业性。

关键观点3: 专家观点和行业背景

有专家表示这个结论并不是新的发现，并且强调在评估模型性能时需要结合人类对比的基线。此外，关于大模型的推理能力和形式推理的讨论也在业界引起关注，一些专家呼吁将神经网络与传统的基于符号的推理相结合，以获得更准确的决策和解决问题的能力。

文章预览

整理 | 褚杏娟、平川 苹果公司六位勇于挑战主流思潮的 AI 研究人员 Iman Mirzadeh、Keivan Alizadeh、Hooman Shahrokhi、Oncel Tuzel、Samy Bengio 和 Mehrdad Farajtabar，近日发表了一篇关于 LLM 的精彩论文。其中有一段很关键： 我们在语言模型中没有发现任何形式推理的东西……它们的行为更适合用复杂的模式匹配来解释……事实上，这种模式匹配非常脆弱，改个名称就可能改变结果约 10%！ 他们得出的结论在人工智能社区引起轩然大波，很多人对论文本身提出了很大的质疑。 论文地址： https://arxiv.org/pdf/2410.05229 苹果的研究人员对一系列领先语言模型，包括来自 OpenAI、Meta 和其他知名厂商的模型进行研究测试，以确定这些模型处理数学推理任务的能力。结果表明，问题措辞的细微变化都会导致模型性能出现重大差异，从而削弱模型在需要逻辑一致性场景中的可靠性。 ………………………………