开源Llama版o1来了，3B小模型反超80B，逆向工程复现OpenAI新Scaling Law

文章预览

大模型智能｜分享 来源 | 量子位 作者 | 梦晨 o1完整版公开仅10天，Scaling Law新范式就被逆向工程复现了！ Hugging Face官方发文，开源了 扩展测试时计算 的方法。 用在小小小模型Llama 1B上，数学分数直接 超过8倍大的模型，也超过了计算机科学博士生的平均分数（40%）。 那么用在Llama 3B上呢？进步幅度更大，甚至能和20几倍大的70B模型媲美。 虽然OpenAI o1的配方完全保密，没有发布实现细节或代码，但团队基于DeepMind公布的研究结果，完成了自己的实验。 在DeepMind研究的基础上，Hugging Face团队做出如下改进： 多样化验证器树搜索 （Diverse Verifier Tree Search），一种简单而有效的方法，可以提高多样性和更高性能，特别是在算力预算充足的情况下。 开源轻量级工具包 Search and Learn，与推理框架vLLM配合，快速构建搜索策略 01 测试时计算扩展策略 目前扩展测 ………………………………