出人意料！DeepSeek-R1用的GRPO其实没必要？规模化强化学习训练用PPO就够了

主要观点总结

文章介绍了Open-Reasoner-Zero项目，该项目使用简化的强化学习算法PPO和基于规则的奖励函数，旨在实现大规模推理任务的训练。研究发现原始的PPO算法在不同模型规模和训练时间内提供了稳定和强大的训练过程，而无需额外修改。简单的基于规则的奖励函数足够且最佳用于推理任务。研究还显示，扩大数据量和多样性对于Reasoner-Zero训练至关重要。此外，模型表现出了强大的泛化能力，在面向推理的任务上显著优于使用传统方法训练的模型。并且该团队进行了详细的消融实验以验证其方法的有效性。

关键观点总结

关键观点1: Open-Reasoner-Zero项目使用简化的强化学习算法PPO实现大规模推理任务训练。

该项目发现使用简化的强化学习算法PPO和基于规则的奖励函数可以有效实现大规模推理任务的训练，并且通过扩大数据量和多样性可以进一步提高模型的性能。

关键观点2: 研究发现原始的PPO算法在不同模型规模和训练时间内表现出稳定的训练过程。

该研究通过广泛的实验发现，原始的PPO算法在不需要额外修改的情况下就能提供稳定和强大的训练过程。

关键观点3: 简单的基于规则的奖励函数对于推理任务是最优的。

该研究认为简单的基于规则的奖励函数对于推理任务而言足够且最佳，因为复杂奖励函数可能会留下潜在的奖励 hack 空间。

关键观点4: Open-Reasoner-Zero模型表现出强大的泛化能力。

该模型在知识和指令遵从基准 MMLU_PRO 和 IFEval 上的表现表明，其具有很强的泛化能力。

关键观点5: 消融实验验证了方法的有效性。

通过详细的消融实验，该团队验证了他们的方法在各种设置下的有效性。

文章预览

机器之心报道 编辑：Panda DeepSeek-R1 非常热门，而在其公布的训练配方中，GRPO（Group Relative Policy Optimization）非常关键，是 DeepSeek-R1 核心的强化学习算法。 PPO 与 GRPO 的对比，来自论文《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》 相较于 PPO，GRPO 去掉了价值模型，而是通过分组分数来估计基线，从而可极大减少训练资源。 DeepSeek-R1 技术报告中写到：「具体来说，我们使用 DeepSeek-V3-Base 作为基础模型，并采用 GRPO 作为强化学习框架来提高模型的推理性能。在训练过程中，DeepSeek-R1-Zero 自然地涌现出了许多强大而有趣的推理行为。经过数千个强化学习步骤后，DeepSeek-R1-Zero 在推理基准上表现出超强的性能。」 但现在，有一项研究却证明 GRPO 对推理模型来说并不很重要。 阶跃星辰与清华大学近期的一项研究发现，只需使用带 GAE （λ= 1 ………………………………