o1方法性能无上限！姚班马腾宇等数学证明：推理token够多，就能解决任意问题

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI OpenAI用o1开启推理算力Scaling Law，能走多远？ 数学证明来了： 没有上限 。 斯隆奖得主 马腾宇 以及Google Brain推理团队创建者Denny Zhou联手证明，只要思维链足够长，Transformer就可以解决任何问题！ 通过数学方法，他们证明了Transformer有能力模拟任意多项式大小的数字电路，论文已入选ICLR 2024。 用网友的话来说，CoT的集成缩小了Transformer与图灵机之间的差距，为Transformer实现图灵完备提供了可能。 这意味着，神经网络理论上可以高效解决复杂问题。 再说得直白些的话：Compute is all you need！ CoT让Transformer运行更高效 首先需要说明的是，“可以解决任何问题”是一个通俗化的表述，严格来说，论文的核心结论是思维链（CoT）能够显著提升Transformer的表达能力。 作者首先通过理论分析，提出对于固定深度、多项式宽 ………………………………