清华本科生获NeurIPS Math-AI 杰出论文奖：REBASE算法让小模型实现推理大突破

文章预览

  刚刚由清华大学本科生伍垟圳为一作的论文《推理Scaling Laws： 面向语言模型问题求解的计算最优推理实证分析 》在顶级AI学术会议NeurIPS 2024 Math-AI上荣获杰出论文奖（Outstanding Paper Award）。 这项研究不仅刷新了人们对推理阶段计算优化的理解，还为如何在有限计算资源下实现更高效的大语言模型（LLM）推理提供了全新的思路 论文亮点：推理阶段的计算优化新突破 1. 小模型也能打败大模型：重新定义推理阶段的效率 论文系统性地研究了不同模型大小和推理策略在固定计算预算下的表现，发现小模型（如Llemma-7B）在结合高级推理算法后，能够实现比大模型（如Llemma-34B）更优的成本性能平衡。例如，在数学推理任务中，Llemma-7B通过生成更多候选解并使用优化的投票策略，可以在计算量减半的情况下达到甚至超越Llemma-34B的准确率。这一发现颠覆了“ ………………………………