蒸馏超越原版！上交大团队o1复现新突破，警示AI研发"捷径陷阱"

文章预览

©作者 |  GAIR研究组 单位 |  上海交通大学 自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来，全球掀起了一场 AI 能力 “复现” 竞赛。近日，上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破，通过简单的知识蒸馏方法， 团队成功使基础模型在数学推理能力上超越 o1-preview 。 团队在本工作中特意聚焦于业内广泛使用却往往未被公开披露的蒸馏技术，想在 “揭秘” 蒸馏技术背后所能达到的收益的同时，又对 AI 研究界进行一次倡议，呼吁优先考虑透明创新的方法，而不是一味追求短期性能提升和 AI 技术研发 "捷径"。 研究团队坚信， 培养能够从第一性原理思考而不是简单套用现有解决方案的下一代 AI 研究者至关重要 。 团队选择 Qwen2.5-Math-72B 作为基础模型，经过精心设计的数据筛选和处理流程，仅使用数万个从 o1 蒸馏的 ………………………………