一句废话就把OpenAI o1干崩了？大模型的推理能力还真挺脆弱的。

主要观点总结

本文主要讨论了大语言模型（如OpenAI的o1模型）在数学推理方面的局限性，通过实际测试发现模型容易受到无关信息的干扰，表现不稳定。文章介绍了苹果公司的研究论文，指出模型并非真正进行推理，而是复制训练数据中的推理步骤。文章还强调了简洁明确的提示词对模型的重要性，并讨论了论文中的其他重要结论。

关键观点总结

关键观点1: 大语言模型在数学推理任务中表现脆弱，容易受到无关信息的干扰。

通过实际测试发现，模型在解决小学数学题时，加入无关信息后推理成功率大幅下降。

关键观点2: 模型并非真正进行推理，而是复制在训练数据中的推理步骤。

苹果公司的研究论文指出，随着问题难度的提升和改变，模型的表现会迅速下降。

关键观点3: 简洁明确的提示词对模型的重要性。

文章提到OpenAI的提示词建议，强调避免无关提示的重要性。提示词应该简单直接，以便模型更好地理解和响应。

关键观点4: 论文中的其他重要结论。

包括随着问题难度的提升，模型表现下降；改变数值和名词也会导致结论变化；模型在理解人类复杂行为和充满变数的环境方面仍存在困难。

文章预览

就在一个月前，OpenAI悄悄发布了o1，o1的推理能力是有目共睹的。 我当时用了几个很难很难的测试样例去试验了一下，很多模型见了都会犯怵，开始胡说八道。 最难的其中一个是姜萍奥赛的那个数学题，几乎暴揍所有大模型的那个题，交给o1，o1竟然完完全全答对了。 如果你还记得，我在那篇文章最后给大家放了OpenAI给出的提示词的最佳写法。 其中第一条就是： 保持提示词简单直接：模型擅长理解和相应简单、清晰的指令，而不需要大量的指导。 当时我对这一条的理解，觉得是为了让o1模型更好的理解我的要求，同时可以加快模型的处理速度，因为模型不需要花费额外的时间去解析复杂的语句。 直到我刷到前两天苹果的放出来的一篇LLM的研究论文，我才意识到，多加一两句无关紧要的和目标无关的话，别说奥赛题了，可能模型连小学数学题都做 ………………………………