文章预览
Datawhale干货 作者：长琴，Datawhale成员 本文通过10篇R1相关的研究，介绍R1后LLM的新范式。其核心就是如何进一步增强LLM的能力。 本文中的相关阅读，可以在主页找到对应文章： 主页地址： https://yam.gift/ 基本框架 首先是整体的框架，如下所示。 • Base+SFT • R1冷启动 • LIMO (817 Data Selection) • s1 (1000) • Base+RL • GRPO: R1-Zero • GRPO: oat-zero (Base can Aha、RL enhance） • PPO: LIMR (Data Selection) • PPO: orz (Scaling quality, diversity) • DPO: Online-DPO-R1 (Different RL Algo) • DPO: LIMD (Data Selection) • SFT+RL • R1蒸馏 • DeepScaleR (Length Scaling) • Self-rewarding correction (LLM can reward itself, explicit Aha)、L1（LCPO） 我将其分成3个部分，前两个部分是Base模型的基础上使用SFT或RL提升效果，最后是SFT结合RL进一步提升效果。每个部分的第一个都是R1论文中的内容，上面没有R1本身，是因为R1本
………………………………
