OpenAI直播第二弹！奥特曼2024年最大惊喜竟来自字节？强化微调让o1-mini逆袭o1

文章预览

大模型智能｜分享 来源 | 新智元 编辑 | Aeneas 好困 OpenAI 12天连播的第二弹，用短短三个单词体现了什么叫「字少事大」——强化微调（Reinforcement Fine-Tuning）。 首先，这是OpenAI第一次将之前仅限自家模型（如GPT-4o和o1系列）使用的强化学习技术，开放给外部开发者。 其次，开发者只需提供最低「几十个」高质量任务，就能通过强化微调实现领域专家模型的定制！并且，还能根据提供的参考答案对模型的回应进行评分。 最后，强化微调加强了模型在处理领域问题时的推理能力，并提升了在特定任务上的准确性。对于那些要求高精确性和专业知识的领域，强化微调将会发挥至关重要的作用。 从OpenAI的官方演示中不难看出，强化微调的效果可谓是相当显著——经过强化微调的o1 mini，竟然全面超越了当今最强的基础模型o1。 其中，强化微调版的o1 mini，在 ………………………………