GRPO在《时空谜题》中击败o1、o3-mini和R1

主要观点总结

本文探索了通过强化学习训练小型开源模型以提高其演绎推理能力的可能性。使用GRPO方法对Qwen 14B和32B模型进行训练，显著提升了模型性能，使开源模型在推理方面达到前沿水平，并大幅降低成本。研究结果凸显了强化学习在训练模型处理复杂演绎任务方面的巨大潜力。

关键观点总结

关键观点1: 小型开源模型借助强化学习达到前沿推理水平

通过GRPO方法训练Qwen 14B和32B模型，显著提高模型性能，使其接近或达到前沿推理水平。

关键观点2: 强化学习训练过程中的超参数选择与调整

在训练过程中，对超参数进行选择与调整，包括模型选择、任务数、样本数、学习率、微批次大小等，以优化模型性能。

关键观点3: 降低成本

改进后的模型在推理性能方面达到前沿水平的同时，也大幅度降低了成本。这凸显了强化学习在高效训练模型处理复杂演绎任务方面的巨大潜力。

关键观点4: 有趣的输出长度规律

在训练期间，输出长度呈现有趣规律，即最初回复变长，随后趋于稳定，在训练接近尾声时会出现分化。

关键观点5: 逻辑推理能力的提升

经过训练的模型在逻辑推理能力方面有所提升，能够被最先进的模型如Claude Sonnet 3.7识别并评估其合理性的推论增加。

文章预览

GRPO训练的小型开源模型，推理能力逼近Sonnet 3.7。 作者丨洪雨欣 编辑丨陈彩娴 近日，海外大模型产品平台 OpenPipe 上发布了一项研究，阐述其如何通过 GRPO 在重度推理游戏《时空谜题》中超越R1、o1、o3-mini 等模型。 研究作者分别为来自 Ender Research 的强化学习研究员 Brad Hilton 和 OpenPipe 的创始人 Kyle Corbitt。 他们的研究表示，他们不仅将模型与 Sonnet 3.7 的差距缩小至个位百分比，同时实现超过100倍的推理成本优化。 报告中还分享了任务设计与超参数调整的经验，并公开了基于torchtune框架构建的完整训练方案。 1 背景介绍 自OpenAI去年发布突破性的o系列推理模型以来，采用强化学习（RL）训练的大型语言模型（LLMs）迎来爆发式增长。谷歌DeepMind、阿里巴巴、DeepSeek、Anthropic相继推出支持长"思维链"（CoT）推理的先进模型，在可验证问题上实施强化学习训 ………………………………