上交举办“大模型奥林匹克竞赛”，GPT-4o仅得39分

文章预览

夕小瑶科技说 原创 作者 | 谢年年 大模型的奥林匹克竞赛来了！ 最近，上交构建了一个全面、极具挑战性的奥赛级别的基准——OlympicArena，从来自62个不同奥林匹克竞赛中筛选出11,163个问题，涵盖数学、物理、化学、生物、地理、天文学和计算机科学等七个学科，细分为34个专业领域。除了8类逻辑推理任务外，还有5类视觉推理能力，分为13种答案类型（如表达式、区间）。 论文标题 : OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI 论文链接 ： https://arxiv.org/pdf/2406.12753 奥林匹克竞赛，作为选拔拔尖青少年人才的竞赛，其难度与挑战性不言而喻。在奥赛中获得优异成绩的同学可以获得保送名牌大学和参加自主招生考试的资格。 那么大模型在奥赛中的表现如何呢？ 作者提供了一套全面的资源来支持AI研究，包括基准数据集、开源标 ………………………………