大模型Post-Training总结

文章预览

↑ 点击 蓝字  关注极市平台 作者丨hadiii 来源丨https://zhuanlan.zhihu.com/p/12862210431 编辑丨极市平台 极市导读   本文汇总Llama3.1，DeepSeek-V3，TÜLU 3，Qwen2.5报告的后训练部分，摘录其中核心的细节。大多涉及到数据，SFT，RL（各种RM训练，DPO，GRPO，RLVR等等）。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 1 Llama3.1 paper: https://ai.meta.com/research/publications/the-llama-3-herd-of-models/ Illustration of the overall post-training approach for Llama 3. 总的来说，Llama 3后训练方法是迭代式的，总共做了6轮。每轮的核心操作是：Reward Modeling，Rejection Sampling，SFT，DPO。 数据构成主要是SFT data和Preference data。而Reward Modeling和DPO，对Preference data又有不同的使用方式。 SFT data：每轮Rejection Sampling的结果 + 针对特定能力的合成数据 + 少量的人工标注数据。 Preference data：每一轮训练都构建一 ………………………………