OpenAI o1技术初探3：如何让模型拥有自我纠错的能力

文章预览

在这个系列之前的文章中： 我们探索了o1（可能基于test-time scaling law）做的 基本框架 。 以及框架中的一块积木 （靠纯inference优化来增强逻辑推理能力 ，我们分别列举了“PRM+some search methods”以及“MCTS”两种方法，本质上来说这两种都是MCTS-style的评估-搜索方法） 在这篇文章中，我们来探索另一块更好玩的积木： “o1是如何拥有自我纠错的能力的？” 。 在下文中，我会基于自己的猜想，把o1的这种self-correction的能力与基于强化学习的post-training过程，以及我们上篇中所说的MCTS过程串起来 。 同样，这也是我在阅读相关论文，及观察o1输出结果demo后给出的自己的猜想，具有强主观性，大家选择性阅读。 一、o1 demo中体现的自我纠错能力 在openai o1官网的例子中（https://openai.com/index/learning-to-reason-with-llms/），当我们展开模型回复结果里thought for xx seconds ………………………………