o3并非独门秘技，谷歌已发背后关键机制，方法更简单、成本更低

主要观点总结

本文介绍了来自斯坦福、牛津和谷歌DeepMind团队的最新研究成果，他们提出了一种通过重复采样来扩展推理计算量的方法，并在一系列模型和任务中验证了其有效性。该方法能够提高模型性能，降低成本，特别是在编码和数学任务中表现突出。文章还讨论了该方法的局限性和未来研究方向。

关键观点总结

关键观点1: 研究背景与目的

文章介绍了当前人工智能领域对于大模型的挑战和发展趋势，以及如何通过重复采样来扩展推理计算量，提高模型性能。

关键观点2: 重复采样的原理

文章详细阐述了重复采样的原理，即通过大模型中采样生成多个候选解，再选择合适的验证器从生成的样本中选择最终答案。其有效性取决于覆盖率和精确度。

关键观点3: 实验验证

文章通过一系列实验验证了重复采样的有效性，包括在不同任务和模型下的表现，以及与单样本性能更好的强模型的对比。

关键观点4: 降本增效

文章不仅关注了模型性能的提升，还探讨了重复采样的成本效益，通过实验证明了其能够降低成本。

关键观点5: 局限性讨论

文章最后指出了该方法的局限性，如模型停滞和样本重复等问题，并讨论了未来研究方向。

文章预览

小交 发自 凹非寺 量子位 | 公众号 QbitAI o1/o3带火的推理计算Scaling，原来谷歌早在今年8月就曾探讨过。 当时，来自斯坦福、牛津以及谷歌DeepMind的团队提出通过重复采样来扩展推理计算量—— 结果在编码任务中将性能最多提高40%。 他们发现小模型通过生成多种答案/样本，其任务表现可能比一些大型模型单次尝试还要好。 比如，DeepSeek-Coder通过重复采集5个样本，性能优于GPT-4o，而成本却仅为后者的三分之一。 这篇论文讲了什么？ 这篇论文取名Monkey，灵感来自于无限猴子定理。 一只猴子在打字机键盘上随机敲击键盘无限长的时间，几乎肯定会打出任何给定的文本。 而在大模型的语境下，只要采的样够多，那么大模型总能找到正确解。 本文遵循的重复采样程序，首先通过大模型中采样，为给定的问题生成许多候选解。 其次再选择特定领域的验证器 ………………………………