展望o1路线的可改进方向

文章预览

TL;DR 分析o1技术路线的选择原因 未来inference速度会大幅提升 讨论o1路线后续可改进的思路，重点是3.5节 1、后续分析依赖的基础信息 1.1、o1的技术方案 目前o1所暴露的信息还属于较早期阶段，还无法很大概率地把握其具体技术方案细节。本文对于o1技术方案的判断主要基于我前面两篇文章： o1模型的技术分析(1)——OpenAI亲自下场做的Agent推理模块的技术原型 o1模型的技术分析(2)：内部实现的更多信息 其中的主要判断： o1-preview目前只是o1的早期预览版，完整功能会在o1正式版放出。目前其核心能力已经展现，正式版中推理能力还能有少量提升，以及多模态功能会加入。 在推理阶段， o1系列模型仅使用单路CoT推理 ，并通过特殊token进行标记思考结束，对外只显示思考之后的回答部分。 推理阶段中的内部思考部分仍然使用自然语言，未作太多结构化处理 ………………………………