图解OpenRLHF中基于Ray的分布式训练流程

文章预览

↑ 点击 蓝字  关注极市平台 作者丨大猿搬砖简记 来源丨大猿搬砖简记 编辑丨极市平台 极市导读   本文详细分析了OpenRLHF中基于Ray的分布式训练流程。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文着重分析OpenRLHF中的 PPO-Ray训练架构设计 ，没有使用过Ray的朋友也可以通过本文快速上手，本文共分成四块： 1. 为什么用Ray 2. 使用图例抽象出整体训练流程 3. Ray核心知识速过 4. 使用图例，进一步抽象出核心代码细节，包括： 训练入口 部署PPO-Actor/Ref/Critic/RM实例 部署vllm_engines实例 PPO-Actor与vllm_engines之间的通讯 PPO-Actor/Critic训练 一、为什么要使用Ray 对于通常的rlhf框架， 在训练时会在单卡上同时部署actor/ref/reward/critic四类模型 ，这种单一的部署方式可能存在如下问题： 难以突破单卡显存的限制。 无法实现更多的并行计算 。例如在收集exp阶 ………………………………