“博士级”模型GPT-o1折戟中学数学“陷阱”问题，准确率仅为24.3%

文章预览

来自：FudanNLP 北 京时间9月13日凌晨，OpenAI正式推出最新模型GPT-o1，一时间引发学界与工业界的广泛讨论，相较于先前版本GPT-4o，新模型在各大评测指标上显著提升，号称已达"博士级"智能水平。 图一：最新发布的GPT-o1 在广泛的基准测试中优于 GPT-4o 然而，我们的最新研究结果却给这个"AI天才"泼了一盆冷水——在面对中学数学水平的"陷阱"问题时，GPT-o1惨遭滑铁卢：在我们最新的中学陷阱问题测试集MathTrap_Public上，调用GPT-o1-preview官方API后生成的回答准确率仅为 24.3% 。 我们在 GSM8K 和 MATH 数据集问题的基础上，加入了一些 “陷阱” ，构造了 MathTrap 数据集。这些改编后的题目很多时候没有定义明确的答案或者无解，只有能够同时理解原题和“陷阱”所涉及知识的模型，才能找出其中的矛盾点，发现“陷阱”所在 。 因此， 单靠“刷榜”来提高在 GSM8K ………………………………