致敬小镇做题家的OpenAI o1

文章预览

OAI的草莓从去年11月开始炒作Q*, 已经预热了快一年了, 似乎伴随着最近Cursor+Claude的压力, 以及最近一轮OAI融资, 把o1放出来了. 本以为是给微软 Copilot:Wave2 [1] 预热的,但有点失望的是Copilot还是基于GPT-4o. 作为一个数奥/信奥退役选手, 对于o1是否真的有通向AGI的路径来做点分析. 然后针对金融口的朋友谈谈ScalingLaw提供的市场流动性, 再针对云和硅工朋友谈谈基础设施演进的需求. 而具体的算法部分, 后面还是在 《大模型的数学基础》 这个专题中单独再更新一篇.本文目录如下: 1.  LLM = 自回归的Large Language Monkeys 1.1 . 从预层范畴看Scaling Law的本质 1.2 . 训练Scaling Law的瓶颈 1.3 . 训练Scaling Law的本质是给市场注入流动性 2.  Chain-of-Thought 2.1  从一个无趣例子开始 2.2  自动的隐式CoT? 新的Scaling Law 2.3  Post Training Scaling Law 2.4  Inference Scaling Law 3.  小镇做 ………………………………