OpenAI o1背后的技术：LLM的快思考与慢思考路线之MCTS

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 知乎 作者 | 皓天  在上一篇文章[1]中，我们初步探索了基于EBM-MCTS的方法，并在多个数学数据集上完成实验验证。相比使用更多的SFT语料等方法，EBM-MCTS能够极大提升已有的SFT模型的数学能力[1][7]。而且，EBM不依赖更强的LLM、不需要LLM自己提出问题并评估中间步骤答案的好坏等。能量函数还能通过无监督方法训练（也不需要更大的尺寸即可提升SFT模型的效果）。近期，笔者看到了更多类似的文章，大部分在ai-agent的task-planning中探索。我们将基于这些文章，进一步探讨这些方法的'first-principle'以及未 ………………………………