长文 | 大模型Post-Training总结

文章预览

今天给大家带来一篇知乎好友@hadiii的一篇文章，汇总Llama3.1、DeepSeek-V3、TÜLU 3和Qwen2.5的后训练Post-Training技术。 知乎：https://zhuanlan.zhihu.com/p/12862210431 本文汇总Llama3.1，DeepSeek-V3，TÜLU 3，Qwen2.5报告的后训练部分，摘录其中核心的细节。大多涉及到数据，SFT，RL（各种RM训练，DPO，GRPO，RLVR等等）。 1 Llama3.1 paper: https://ai.meta.com/research/publications/the-llama-3-herd-of-models/ Illustration of the overall post-training approach for Llama 3. 总的来说，Llama 3后训练方法是迭代式的，总共做了6轮。每轮的核心操作是：Reward Modeling，Rejection Sampling，SFT，DPO。 数据构成主要是SFT data和Preference data。而Reward Modeling和DPO，对Preference data又有不同的使用方式。 SFT data：每轮Rejection Sampling的结果 + 针对特定能力的合成数据 + 少量的人工标注数据。 Preference data：每一轮训练都构建一批新的Preference ………………………………