OpenAI o1模型推理能力大幅提升的背后：重复采样如何提升AI推理能力

文章预览

今天OpenAI对外发布了o1模型，最大的特点便是推理能力大大增强，推理速度大大变慢。传统大模型都在比拼降低响应延迟的时候，OpenAI竟然做了一个“超慢”模型。 为什么会这样 答案就在下面这张图里，它解释了o1的推理工作原理，也回答了它为啥变慢。 o1模型的特点是在回答前进行思考，并不直接给出推理结果，响应用户之前会产生长串的内部思维链，生成不同的方法，进行验证尝试，有成功的，也有失败的，但不会展示给用户，就像是打草稿一样，直到得出答案，最后再丢弃草稿，以保持回答简洁，上下文干净。这样的好处是既能进行复杂推理，又能保持对话的连贯和效率。也正是如此，为了区分内部推理使用的token与输入输出token，引入了推理token的概念，也就是“草稿”token，值得注意的是，这一token量可能会大大高于输入输出token数，进而 ………………………………