Marco-o1：面向开放式解决方案的开放式推理模型

文章预览

目前，OpenAI o1 引发了人们对大型推理模型（LRM）研究的兴趣激增。   在此势头的基础上，Marco-o1 不仅关注具有标准答案的学科，例如非常适合强化学习 (RL) 的数学、物理和编码，而且更加重视开放式解决方案。   我们的目标是解决这个问题：“o1 模型能否有效地推广到缺乏明确标准且奖励难以量化的更广泛领域？” Marco-o1 由思想链 (CoT) 微调、蒙特卡罗树搜索 (MCTS)、反射机制和创新推理策略提供支持，针对复杂的现实世界问题解决任务进行了优化。 图1 ： 我们的 Marco-o1 模型推理出一个经典的“草莓”问题：“‘草莓’中有多少个‘r’。” 1 简介 OpenAI 最近推出了突破性的 o1 模型 [OpenAI, 2024, Zhu 等人, 2024] ，以其卓越的推理能力而闻名。   该模型在AIME、CodeForces等平台上表现出了出色的性能，超越了其他领先模型。   受这一成功的启发，我们的 ………………………………