o1方法的推理能力无上限？LeCun怒怼：两层网络还可以万能近似呢

文章预览

来源：AI科技前沿 OpenAI的o1大模型一经亮相，AI界便热议如何复制其成果。OpenAI对技术细节严格保密，试图从AI中获取完整推理过程，稍有过问即遭警告。技术报告中也难以寻觅线索。 于是，研究者们转向先前类似研究，试图挖掘线索。例如，Google Brain推理团队创始人Denny Zhou在5月发布的论文《Chain of Thought Empowers Transformers to Solve Inherently Serial Problems》，作者阵容强大，包括Denny Zhou、斯隆奖得主马腾宇及他的两位学生。 链接：https://arxiv.org/abs/2402.12875         Denny Zhou宣称， 通过让Transformer生成充足的中间推理tokens，已证明其能解决所有问题，并赋予LLM推理无限潜能。 论文核心在于展示思维链（CoT）极大增强了Transformer的表述能力，使其能应对更复杂问题。 加入 CoT 单层的 Transformer 也能做复杂推理题 长久以来，寻求Transformer架构突破的努力不断。 ………………………………