主要观点总结
本文介绍了OpenAI的o1模型与谷歌DeepMind新研究之间的关联与对比。两者都探讨了模型测试时的计算效率问题,其中谷歌的研究揭示了增加测试时计算比扩展模型参数更有效。此外,文章还讨论了OpenAI的o1模型的工作原理,以及行业内的竞争态势和硬件在其中的作用。
关键观点总结
关键观点1: 谷歌DeepMind新研究揭示增加测试时计算效率的重要性
该研究对比了不同测试时计算扩展方法的效果,发现使用计算最优策略可以在特定情况下达到与大型预训练模型相同的效果,但计算量仅为后者的四分之一。
关键观点2: OpenAI的o1模型与谷歌DeepMind研究的相似性
两者都强调在模型测试阶段有效利用额外计算以提高准确性,网友表示这几乎是o1的原理。
关键观点3: 行业内的竞争态势和硬件的作用
随着各家研究速度加快,谁也不能确保始终领先。唯一的护城河或许是硬件,这也引发了关于硬件和算力的讨论。
文章预览
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 发布不到1周,OpenAI最强模型o1的护城河已经没有了。 有人发现,谷歌DeepMind一篇发表在8月的论文,揭示原理和o1的工作方式 几乎一致 。 这项研究表明,增加测试时(test-time)计算比扩展模型参数更有效。 基于论文提出的计算最优(compute-optimal)测试时计算扩展策略,规模较小的基础模型在一些任务上可以超越一个 14倍大 的模型。 网友表示: 这几乎就是o1的原理啊。 众所周知,奥特曼喜欢领先于谷歌,所以这才是o1抢先发preview版的原因? 有人由此感慨: 确实正如谷歌自己所说的,没有人护城河,也永远不会有人有护城河。 就在刚刚,OpenAI将o1-mini的速度提高7倍,每天都能使用50条;o1-preview则提到每周50条。 计算量节省4倍 谷歌DeepMind这篇论文的题目是: 优化LLM测试时计算比扩大模型参数规模更高效 。 研
………………………………