号称打败 GPT-4o 的开源 AI 新王被指造假，不要迷信大模型的榜单了

主要观点总结

文章介绍了AI模型的基准测试及其存在的问题。基准测试是评估模型性能的一种方式，但存在数据泄露、作弊、难度跟不上AI发展速度等问题，使得测试结果不够可信。文章还介绍了不同的基准测试方式，如C-Eval、MMLU等，并探讨了如何改进基准测试的权威性和可信度。同时，文章也提到了用户投票在AI选择中的重要性。

关键观点总结

关键观点1: AI模型的基准测试是评估模型性能的一种结构化打分框架，包括多种评估方式。

基准测试可以帮助用户选择模型，也可以促进模型进步。

关键观点2: 基准测试存在数据泄露、作弊等问题，导致测试结果可能不真实。

一些第三方测评从数据保密性入手解决这个问题。

关键观点3: 基准测试的难度可能跟不上AI的发展速度，需要不断更新和改进。

一些新的测评方式正在探索中，如Chatbot Arena等。

关键观点4: 用户投票在AI选择中的重要性。

用户对AI的直接评价和使用体验是选择AI的重要依据。

文章预览

你有没有想过一个问题：AI 模型是怎么论资排辈的？ 和人类的高考一样，它们也有自己的考试——基准测试（Benchmark）。 不过，高考就那么几个科目，基准测试的花样就多了，有的考察通识，有的专攻某一项能力，数学、代码、阅读理解，无所不包。 Google 发布Gemini 时的基准测试排名 基准测试的好处是直观，榜单这么一拉，得分高低一目了然，比大段的文字更有拉拢用户的效果。 然而，测归测，准不准就不一定了。因为最近的一个疑似造假事件，基准测试的可信度又下降了一层。 开源模型新王者，转眼被「打假」 9 月 6 日，Reflection 70B 的出现，仿佛是个奇迹。它来自名不见经传的纽约初创公司 HyperWrite，却自封了「世界顶级开源模型」的称号。 开发者 Matt Shumer 是怎么证明这一点的呢？用数据。 在多项基准测试中，参数仅有 70B 的它，打败了 GPT ………………………………