280页PDF，全方位评估OpenAI o1，Leetcode刷题准确率竟这么高

文章预览

计算机科学、数学、自然科学、医学、语言学、社会科学……OpenAI o1擅长什么？还有哪些不足？  OpenAI 的 o1-preview 模型已经发布两周了，网上也有了很多零星的测评。不过，大部分测评都侧重于某一个方面，对于 o1-preview 的系统评估目前还比较匮乏。 在一篇长达 280 页的论文中，来自加拿大阿尔伯塔大学等机构的研究者报告了他们对 o1-preview 的系统评估结果，非常具有参考价值。 论文标题：Evaluation of OpenAI o1: Opportunities and Challenges of AGI 论文链接：https://arxiv.org/pdf/2409.18486 具体来说，这项综合研究评估了 o1-preview 在各种复杂推理任务中的性能，涵盖多个领域，包括计算机科学、数学、自然科学、医学、语言学和社会科学。通过严格的测试，o1-preview 展示了非凡的能力。 主要结论如下： 编程挑战：在解决复杂的竞赛性编程问题上，o1-preview 的成功率 ………………………………