OpenAI o1能否支撑AGI的新Scaling？

文章预览

OpenAI o1的推出带来了一波新的算法热潮，OpenAI官方也强推所谓新的深度思考的Scaling。虽然听起来用LLM和RL来进行隐式COT（也就是“思考”）咋一眼看上去很有道理。但真正支撑Scaling还是需要深入思考里面的很多基本假设，和我过去的文章一样，包含很多个人观点极强的暴论，各位看官酌情食用。 关于o1实现方式大家也已经猜测地八九不离十了，以下几个都可以参考参考 •  GitHub - hijkzzz/Awesome-LLM-Strawberry [1]  收录了不少相关论文 •  曹宇：OpenAI o1 self-play RL 技术路线推演 •  张俊林：Reverse-o1:OpenAI o1原理逆向工程图解 无论如何，给LLM纠错的机会，对于效果的提升都是可以预期的。LLM生成token的过程中，生成的序列越长，产生错误token的概率自然也会越高，后面模型为了自洽往往会用一百个谎言来掩盖第一个谎言，最后就彻底逻辑失控了，这也是过 ………………………………