张俊林：OpenAI o1原理逆向工程图解

主要观点总结

OpenAI的o1模型融合了LLM和RL，通过强化学习增强了逻辑推理能力，并生成了Hidden COT。该模型在推理过程中展现了“先思考再发言”的特点，并采用了类似AlphaZero的MCST树搜索策略。o1具有自我反思与错误修正能力，为大型语言模型带来了新的突破，包括提升逻辑推理、扩展小型模型的能力以及引发安全对齐的新范式。此外，o1的训练过程可能与GPT 4等LLM模型有所不同，并且可能是由多个模型构成的。

关键观点总结

关键观点1: OpenAI o1的融合特性

o1融合了LLM和RL，通过强化学习增强了逻辑推理能力，并生成了Hidden COT，体现了“先思考再发言”的特点，并采用了类似AlphaZero的MCST树搜索策略。

关键观点2: o1的突破意义

o1为大模型带来了自我反思与错误修正能力，为大型语言模型带来了新的突破，包括提升逻辑推理、扩展小型模型的能力以及引发安全对齐的新范式。

关键观点3: o1的训练过程

o1的训练过程可能与GPT 4等LLM模型有所不同，并且可能是由多个模型构成的。

文章预览

内容来自：张俊林 新浪新技术研发负责人 原文链接：https://weibo.com/1064649941/OyA1qFg4q OpenAI o1的推出称为横空出世不为过，尽管关于Q*、草莓等各种传闻很久了，用了强化学习增强逻辑推理能力这个大方向大家猜的也八九不离十，但是融合LLM和RL来生成Hidden COT，估计很少人能想到这点，而且目前看效果确实挺好的。 OpenAI奔向Close的路上越走越远，你要从o1官宣字面来看，除了“强化学习生成Hidden COT”外，基本找不到其它有技术含量的内容。Sora好歹还给出了个粗略的技术框架图，字里行间也透漏不少隐含的技术点，细心点总能发现很多蛛丝马迹，串起来之后整个背后的技术就若隐若现。而且，尽管目前有不少公开文献在用LLM+RL增强大模型的推理能力，但几乎找不到做Hidden COT生成的工作，所以可供直接参考的内容非常少，这为分析o1进一步增添了难度。 ………………………………