推理规模化定律：LLM 求解问题的计算-最优推理实证分析

主要观点总结

该文章主要研究了在大语言模型（LLM）的推理过程中，如何选择和配对最佳模型大小和推理策略以达到计算最优的问题。通过一系列的实证研究，文章探索了在不同计算预算下，各种推理策略对模型性能的影响，并重点关注了蒙特卡洛树搜索（MCTS）和奖励平衡搜索（REBASE）等方法。文章的研究结果对于理解和设计计算最优推理方法具有重要意义。

关键观点总结

关键观点1: 研究背景及目的

随着大语言模型（LLM）的广泛应用，其推理过程的优化变得至关重要。文章旨在探索如何选择和配对最佳模型大小和推理策略，以达到计算最优的问题解决。

关键观点2: 研究内容及方法

文章通过实证研究，探讨了不同计算预算下各种推理策略对模型性能的影响。研究重点关注了蒙特卡洛树搜索（MCTS）和奖励平衡搜索（REBASE）等方法。实验涵盖了多个模型系列，包括通用LLM和数学专用模型。研究通过调整模型大小、生成的tokens数量和推理策略来评估模型的性能。

关键观点3: 研究结果及发现

文章发现，在给定相同计算预算的情况下，较小的模型可以胜过较大的模型，并且与高级推理算法配对可产生Pareto最优的成本-性能权衡。此外，蒙特卡洛树搜索（MCTS）等方法虽然在任务性能上有所提高，但计算成本较高。文章提出了一种新的树搜索方法——奖励平衡搜索（REBASE），该方法在计算成本较低的情况下实现了与MCTS相当或更好的性能。

关键观点4: 研究意义及展望

文章的研究结果对于理解和设计计算最优推理方法具有重要意义。未来研究可以进一步探索如何优化推理策略，以提高模型的性能和效率，并推动大语言模型在各个领域的应用和发展。

文章预览

24年10月来自清华和CMU的论文“Inference Scaling Laws: An Empirical Analysis Of Compute-optimal Inference For LLM Problem-solving ”。 虽然大语言模型 (LLM) 训练的规模化规律已得到广泛研究，但 LLM 的最佳推理配置仍未得到充分探索。本文研究推理规模化规律和计算-最优推理，重点关注模型大小和使用不同推理策略生成额外tokens之间的权衡。作为理解和设计计算-最优推理方法的第一步，研究贪婪搜索、多数投票、n 选一、加权投票和两种不同的树搜索算法等推理策略的成本-性能权衡，使用不同的模型大小和计算预算。本文研究结果表明，在给定相同计算预算的情况下，较小的模型（例如 Llemma-7B）可以胜过较大的模型，并且较小的模型与高级推理算法配对可产生Pareto最优的成本-性能权衡。例如，配备新树搜索算法的 Llemma-7B 模型在所有 FLOPs 预算上在 MATH 基准测试中始终 ………………………………