如何优化测试时计算？解决「元强化学习」问题

文章预览

选自ml.cmu.edu 作者：Amrith Setlur、Yuxiao Qu 等 机器之心编译 优化大模型的 测试时计算 是提升模型部署效率和节省计算资源的关键一环。前段时间，黄仁勋在 CES 2025 的演讲中把测试时 Scaling 形容为大模型发展的三条曲线之一。如何优化测试时计算成为业界关注的重要课题。 到目前为止，改进大型语言模型 (LLM) 的主要策略是使用越来越多的高质量数据进行监督微调 (SFT) 或强化学习 (RL)。 不幸的是，这种扩展形式似乎很快就会遇到瓶颈，预训练的扩展定律会趋于稳定，有报告称，用于训练的高质量文本数据可能在 2028 年耗尽，特别是对于更困难的任务，例如解决推理问题，这似乎需要将当前数据扩展约 100 倍才能看到任何显著的改进。LLM 在这些困难任务中的问题上的当前表现仍然不尽如人意。因此，迫切需要数据高效的方法来训练 LLM，这些方法可以超 ………………………………