OpenAI o1：隐含在训练与推理间的动态泛化与流形分布

文章预览

作者：吕明 随着OpenAI o1发布，进一步激发了产业与学术各界对AGI的期待以及new scaling law下的探索热情，也看到来自社区和专业机构对o1的阐释，但总感觉还差点什么，因此决定以自己的角度分篇幅梳理下，并分享给大伙： OpenAI o1在训练过程所采用的RL实际上可以理解为对long reasoning chain（长程推理链 & 步骤）的某种迭代式泛化能力探索explore，在这种探索下也很自然的形成了对模型从训练到推理两个阶段的动态渐进与平衡，而这当然也来源于强化学习RL中的R与L两者组合的结构范式本身，从而直观上形成了从training from real world data → influence to synthetis data的scaling law扩展与转移，且在这种新的scaling law下尝试性的铺设了一条通往AGI的相对平坦的“临时阶段性”道路。 ps：某种程度上，我想其也源于对人类system2·慢思考行为的形式化模拟。 而之所以称之为 ………………………………