张俊林详细拆解o1：OpenAI o1完整训练过程逆向推演

主要观点总结

本文是对OpenAI o1的技术原理进行的详细分析和逆向工程图解。作者通过对o1的各个方面，包括其重要意义、训练过程、模型结构、RL关键要素及其与LLM的融合方式等进行深入分析和推理，试图揭示o1背后的技术细节。文中推测o1可能采用的技术方案包括基于Transformer的LLM模型、结合MCST树搜索和RL的模型结构、以及可能使用的奖励模型等。同时，作者还探讨了o1在自我反思、错误修正、逻辑推理增强、模型扩展性等方面的价值和潜力。

关键观点总结

关键观点1: OpenAI o1的技术原理分析

本文详细分析了OpenAI o1的技术原理，包括其融合LLM和RL来生成Hidden COT的过程，以及可能使用的训练数据和奖励模型。

关键观点2: o1的重要意义

o1除了增强逻辑推理能力外，还为大模型带来了自我反思与错误修正能力，并可能推动大模型研发多个重要方向的革新。

关键观点3: o1的完整训练过程

o1的训练过程包括预训练、后训练（包括SFT、RM和PPO）和推理阶段，其中后训练阶段极大增强了逻辑推理能力。

关键观点4: o1的模型结构

o1可能由多个模型构成，包括主模型、摘要模型和与树搜索相关的模型池子，这些模型协同工作以实现o1的功能。

关键观点5: RL的关键要素及与LLM的融合

o1中RL的状态空间是连续的Token序列，行为空间可能是离散的“思考因子”，奖励模型可能同时采用ORM和PRM。

文章预览

↑ 点击 蓝字  关注极市平台 来源丨机器之心 极市导读   新浪微博机器学习团队 AI Lab 负责人张俊林，对OpenAI o1原理进行了非常干货的逆向工程图解。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 知乎原贴：https://zhuanlan.zhihu.com/p/721952915 OpenAI o1的推出称为横空出世不为过，尽管关于Q*、草莓等各种传闻很久了，用了强化学习增强逻辑推理能力这个大方向大家猜的也八九不离十，但是融合LLM和RL来生成Hidden COT，估计很少人能想到这点，而且目前看效果确实挺好的。 OpenAI奔向Close的路上越走越远，你要从o1官宣字面来看，除了“强化学习生成Hidden COT”外，基本找不到其它有技术含量的内容。Sora好歹还给出了个粗略的技术框架图，字里行间也透漏不少隐含的技术点，细心点总能发现很多蛛丝马迹，串起来之后整个背后的技术就若隐若现（若对 ………………………………