谷歌DeepMind颠覆常识：训练强推理LLM，用“小弱鸡”模型生成数据更香

文章预览

谷歌DeepMind 最新研究成果挑战了 LLM 训练的传统观念：想要训练推理能力强大的LLM，用“小弱鸡”模型生成数据，比用“高大上”的模型更省钱、效果还好 这篇题为《更小、更弱，却更好：通过计算最优采样训练LLM推理器》的论文，核心观点是：在固定计算预算下，使用更弱但更便宜 (WC) 的模型生成数据，训练出的 LLM 推理能力，比用更强但更贵 (SE) 的模型生成数据训练的效果更优 挑战传统：小模型数据真的更好？ 通常，为了提升 LLM 推理能力，我们会用强大的 LLM 生成高质量的合成数据来训练其他 LLM。然而，这种方法的成本很高，限制了实际应用 DeepMind 的研究另辟蹊径，他们认为，在有限的计算预算下，WC 模型生成的数据反而更有优势。为了证明这一点，他们从三个关键指标对 WC 模型和 SE 模型生成的数据进行了比较： 覆盖率：  指解决的独特 ………………………………