陶哲轩和Karpathy推荐的数学测试，让全体LLM的数学几乎得0分：解决率2%

主要观点总结

文章介绍了非营利研究机构Epoch AI发布的新数学基准测试FrontierMath，该测试包含数百个原创数学问题，涵盖大多数数学分支方向。大语言模型在此测试上的正确率不到2%，与传统数学基准测试如GSM-8K和MATH形成鲜明对比。文章还提到了FrontierMath的设定规则、评估的顶尖模型以及专家的看法。

关键观点总结

关键观点1: FrontierMath的特点和影响力

Epoch AI集合世界顶尖数学家发布了FrontierMath，旨在测试大语言模型的数学能力。该测试包含原创数学问题，涵盖数学大多数分支方向，旨在考察大语言模型的实力。其鲜明的对比显示了传统数学基准测试与当前大语言模型在准确率上的差距。

关键观点2: 大语言模型在数学领域的表现

大语言模型在FrontierMath上的表现不佳，正确率不到2%，表明其在数学领域的表现仍有待提高。与传统数学基准测试相比，这些模型在新的、未公开的题目上表现出明显的不足。

关键观点3: 专家的观点和看法

菲尔兹奖得主和数学专家对FrontierMath表示认同，认为这些问题极具挑战性。他们普遍认为，人工智能在解决这些问题上还有很大的差距，需要更多的改进和发展。

关键观点4: 关于大语言模型的挑战和局限性

文章指出了大语言模型在数学评估方面的挑战和局限性，包括多步骤推理中的逻辑一致性、问题本质的深层理解以及创造性解题策略的缺乏等。这些能力对于开展前沿科学研究至关重要。

文章预览

夕小瑶科技说 原创 作者 | 小鹿 最近，出现了一个数学基准集，让大模型们的数学集体翻车，正确率还不到2%。 就是这家非营利研究机构Epoch AI，它集合了世界最顶尖的60多位数学家（包括国际数学奥林匹克（IMO）问题编写者和菲尔兹奖得主）发布了FrontierMath，专治各种LLM不服的全新的数学基准测试。 FrontierMath包含数百个原创数学问题，涵盖了数学大多数的分支方向，从计算密集型的数论，到抽象的代数几何和范畴论问题。 大模型动不动在现在的数学benchmark就是接近100%的正确率，好像真的已经统计数学界了，FrontierMath的出现，就是要考考这些大语言模型到底多厉害。 结果，大语言模型全体暴露，正确率竟然不到2%，这与GSM-8K和MATH等其他流行的数学基准测试形成鲜明对比，在那里这些行业最模型现在实现了超过90%的准确率。。。 基准地址：https://ep ………………………………