贾佳亚团队新作：10k数据让大模型数学能力超GPT-4

文章预览

港中文贾佳亚团队 投稿 量子位 | 公众号 QbitAI 只要10k数据 ，就能让大模型的数学成绩增长5.6%。 港中文贾佳亚团队推出了基于推理步骤的大模型优化策略，能够像老师教学生一样优化大模型。 利用这种方法，72B Qwen模型的数学成绩超越了GPT-4、Gemini1.5-Pro和Claude3-Opus等一众闭源模型。 老师在纠正学生错误时，不会只告诉学生最终答案错了，还会告知具体哪个步骤错了，以此快速纠正其错误。 贾佳亚团队正是学习了这一特点，将斯坦福团队推出的DPO （直接偏好优化） 进一步细化，形成了逐步应用的策略 Step-DPO 。 该方法让Qwen-72B模型在多个数据集上进步明显，同时也获得了更强的长链条推理任务能力。 像教育学生一样训练大模型 如何强化推理能力，一直是大语言模型领域的重要问题之一。 常见的思维链策略通过在输入提示词部分添加“Let’s think st ………………………………