清华 & 蚂蚁 | 提出CodePlan框架，让LLM以编程思维思考，开源200万代码推理数据

文章预览

点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 大模型的推理形式及其最佳表示方式是一个关键问题。2024年9月，OpenAI推出的o1模型在推理能力上取得突破，引发全球关注。中国团队DeepSeek R1以低成本复现了o1的性能，但自然语言作为推理路径的表示方式仍存在争议。 尽管自然语言灵活自由，但其在推理过程中常出现逻辑断裂、焦点漂移和冗余重复等问题，导致推理结构难以被模型有效捕捉和复用 。 为应对这一困境，本文作者在顶会ICLR 2025 上提出了 CodePlan 方法。 这一创新框架将「代码形式的规划」（Code-Form Planning）引入推理过程，让大模型先用「编程思维」来思考，再用自然语言来表达 。 得益于编程语言的严谨特性，代码规划能够精确构建包含条件分支、循环迭代、函数调用等结构的推理蓝图，就像为大模型装上了一个逻辑严密的 ………………………………