Day 2：强化微调（RFT）炸场！只需几十条数据就能让o1-mini吊打o1，OpenAI 又双叒叕搞事了！

文章预览

OpenAI 在 Day 1 推出 o1 满血版后，Day 2 又亮出杀手锏：“强化微调”（Reinforcement Fine-Tuning, RFT）。 这项全新的模型定制技术，不仅让 o1-mini 在特定领域实现了 80% 的性能提升，甚至吊打了大哥 o1。 而实现这一切，只需要几十条高质量数据。 强化微调是什么？ 强化微调（RFT）是一种全新的 AI 模型定制技术，它不同于传统的“大数据微调”，而是通过少量样本和反馈机制实现精准优化。 看似高深，其实 RFT 的核心非常简单： 它不是普通的微调，更不是传统的监督学习微调，而是 OpenAI 用于内部开发的核心技术。 简单来说， 现在可以用这套强化微调技术，打造属于自己的 GPT-4 专属版本！ o1-mini 的逆袭 OpenAI 在直播中用 RFT 给 o1-mini 做了一轮简单微调，结果直接让这个“小模型”在某些专业任务上超过了 o1！ 逆袭的关键是什么？ 聚焦任务： o1-mini 通过 RF ………………………………