文章预览
报告主题: LLM Inference Scaling Law | 大模型的推理标度率与计算最优推理 报告日期: 10月17日(周四)14:30-15:30 报告要点: 近期,随着o1的问世,学术界对推理时计算(inference-time compute)的关注显著增加。 推理时计算已被证明是除训练以外提升模型性能的有效途径。 本报告将介绍我们于8月初完成的工作——《An Empirical Analysis of Compute-Optimal Inference for Problem-Solving with Language Models》。 该研究系统地分析了大语言模型在推理任务上的推理标度率(inference scaling law),揭示了模型性能与推理计算量、模型规模及推理策略之间的关系。 我们进一步提出了“计算最优推理”这一新问题:在给定的固定计算资源下,通过引入更复杂的推理方法和选择合适的模型规模,最大化模型的推理性能。除常规的投票方法和蒙特卡罗树搜索(MCTS)外,我们还提出了全新的推
………………………………