从Policy Gradient到REINFORCE++，万字长文梳理强化学习最新进展

文章预览

强化学习的核心目标是通过不断调整策略（即根据当前状态选择动作的规则），使智能体表现得更好。在强化学习中，有几个关键元素至关重要：首先是奖励模型和价值函数，它们用于评估每个动作或策略的优劣，从而决定模型优化的方向；其次是更新规则，主要涉及损失函数的约束项，它决定了策略更新的力度和稳定性。  本文首先介绍了 三类基础的强化学习算法 ，这三类算法主要在奖励计算和更新规则上有所不同，是 RLHF（人类反馈强化学习）的核心。接着，重点讨论了 四种改进方法 ：REINFORCE、RLOO、PRIME 和 REINFORCE++，它们通过引入 EMA、在线采样、过程奖励等技术，使奖励更加无偏并提高密集成都。 最后，介绍了 GRPO（Group Relative Policy Optimization）方法，它在奖励函数的计算和策略更新规则上做出了进一步的改进，以提升训练的稳定性和效率 ………………………………