文章预览
借着 o1 发布的机会读读 基于 RL 的新 LLM scaling 范式的 相关论文。 背景简介 首先推荐阅读一下拾象的《 LLM 的范式转移：RL 带来新的 Scaling Law 》，很好地科普了一下基于 RL 的新 LLM scaling 范式。 之前我们常说的 scaling law 一般指的是 pre-train 阶段通过算力、数据、模型参数量的提升来不断提升模型智能水平。不过最近一年来看，碰到了不少瓶颈： 算力上我们受限于超大规模训练集群的各种工程挑战，例如 LLaMA 3 的 paper 里就提到他们的万卡集群每两小时就会有坏卡问题出现，所以进一步拓展到 10 万卡规模的集群目前看起来难度很大。 数据方面，文本数据达到 10-20T token 量级后，需要进一步在数量级上提升目前也比较困难了。尤其是能带来“增量收益”的复杂推理方面的数据更加稀缺。 所以大家普遍有感觉，自从 GPT-4 发布后，基本没有出现让人惊艳
………………………………
