OpenAI 12连发第2弹：强化微调，少量样本就能训练自己的专家模型

主要观点总结

OpenAI发布了强化微调技术，允许开发者使用强化学习针对特定任务对模型进行微调。该技术使用评分器来评估模型的输出，并根据提供的参考答案对模型的响应进行评分。强化微调可以提高模型在特定任务上的准确性和推理能力。目前，OpenAI仅开放强化微调的Alpha测试申请，个人用户需等到明年。

关键观点总结

关键观点1: 强化微调技术介绍

OpenAI推出强化微调技术，允许开发者使用强化学习对模型进行进一步的微调，使模型能够在特定领域以新的方式进行推理。

关键观点2: 强化微调的应用

强化微调技术可以提高模型在特定任务上的准确性和推理能力，适用于需要深度专业知识的领域，如法律、金融、工程等。

关键观点3: 强化微调的实现过程

实现强化微调需要准备训练数据集和验证数据集，设计评分器，并配置模型种子和超参数。训练过程可能需要数小时到数天时间。

关键观点4: 强化微调的效果评估

通过强化微调，模型的表现可以超过更强大的基础模型。评估结果会显示模型在不同指标上的表现，如正确答案在列表中的位置概率。

关键观点5: 目前的状态与申请方式

目前强化微调仅支持Alpha测试申请，名额有限。个人用户需等到明年才能使用。有需求的人可以通过OpenAI的官方网站进行申请。

文章预览

机器之心报道 编辑：Panda 强化微调可以轻松创建具备强大推理能力的专家模型。 昨天关于 o1 和 200 美元一个月的 o1-pro 的新闻已经消化完了吗？咱们该夸夸，该吐嘈就吐嘈，但也不得不说，OpenAI 是懂营销宣传的，至少这个 12 天连续发布的策略着实是赚足了眼球。  现在，OpenAI 的 12 天计划进入了第 2 天。凌晨两点，我们迎来了一个开发者和研究者更感兴趣的产品： Reinforcement Fine-Tuning ，即强化微调。 今天参与发布的四人组是 OpenAI 研究副总裁 Mark Chen、OpenAI 技术员 John Allard 和 Julie Wang、Berkeley Lab 的环境基因组学和系统生物学研究者 Justin Reese。 Mark Chen 首先表示，今天发布的强化微调「允许你将你的黄金数据集转化为独特的产品，这将能让你将我们具有的神奇能力提供给你自己的用户和客户。」但它 实际上要到明年才会真正公开推出。 OpenAI 微调 ………………………………