ARC-AGI-2要来了！当前一半数据已无效

文章预览

全球最难的AI基准测试要升级了！ ARC-AGI基准测试的创始人François Chollet刚刚透露， ARC-AGI-2将在2025年初发布！ 为什么现在要升级呢？ 因为他们发现了一个有趣的现象： 当前版本的一半测试数据已经失去了评估AGI的意义 。 这个消息来得一点都不意外。 2024年的ARC Prize竞赛刚刚结束， 最高分达到了55.5% 。 听起来好像还不错？ 但是Chollet却看到了隐藏的危机： 早在2020年， 仅仅用简单的暴力程序搜索 ，把所有参赛作品的结果合并在一起，就能达到49%的分数。 这意味着， 数据集中约一半的任务对评估AGI来说已经「失效」了 ！ 更令人担忧的是，2024年所有参赛作品的集成结果已经飙升到了81%。这说明通过堆砌算力和暴力搜索，很快就能「攻破」这个测试。 Chollet 直言：「 我们需要一个更好的AGI指南针 」。 来看看ARC-AGI-2会带来哪些改进。 从技术报告中 ………………………………