活动报名｜揭示o1核心原理，大模型的推理标度率与计算最优推理

主要观点总结

报告介绍了关于大语言模型的推理标度率的研究，分析了模型性能与推理计算量、模型规模及推理策略之间的关系，并提出了“计算最优推理”这一新问题。报告嘉宾是清华大学本科生伍垟圳，其介绍了在卡耐基梅隆大学语言技术研究所的访问研究经历及成果。

关键观点总结

关键观点1: 报告主题及内容

报告主要介绍了大模型的推理标度率与计算最优推理的研究，包括大语言模型在推理任务上的推理标度率分析，以及提出计算最优推理这一新问题。报告还提到了新的推理策略REBASE，其在多种任务上展现出较投票和蒙特卡罗树搜索更优的计算效果和性能表现。

关键观点2: 报告嘉宾介绍

报告嘉宾是清华大学在读姚班本科生伍垟圳，本科期间在卡耐基梅隆大学语言技术研究所访问研究，导师是Yiming Yang和Sean Welleck。他还曾获得Kaggle首届人工智能数学奥林匹克第二名。

关键观点3: 报告时间和地点

报告日期为10月17日（周四）下午2点半至3点半，地点待通知。

文章预览

报告主题： LLM Inference Scaling Law | 大模型的推理标度率与计算最优推理 报告日期： 10月17日（周四）14:30-15:30 报告要点: 近期，随着o1的问世，学术界对推理时计算（inference-time compute）的关注显著增加。 推理时计算已被证明是除训练以外提升模型性能的有效途径。 本报告将介绍我们于8月初完成的工作——《An Empirical Analysis of Compute-Optimal Inference for Problem-Solving with Language Models》。 该研究系统地分析了大语言模型在推理任务上的推理标度率（inference scaling law），揭示了模型性能与推理计算量、模型规模及推理策略之间的关系。 我们进一步提出了“计算最优推理”这一新问题：在给定的固定计算资源下，通过引入更复杂的推理方法和选择合适的模型规模，最大化模型的推理性能。除常规的投票方法和蒙特卡罗树搜索（MCTS）外，我们还提出了全新的推 ………………………………