主要观点总结
文章介绍了复旦NLP研究团队提出的全新的双模型协作架构（Two-Player Paradigm），旨在解决单一模型自我纠正和自我优化的局限性。该架构通过引入评判模型（Critique Model）参与行为模型（Actor Model）的推理过程，打破传统依赖单一模型的限制，实现行为模型在训练和推理阶段的自我改进。文章详细描述了AutoMathCritique框架的构建流程，包括构建错误推理路径、标注步骤级别反馈和筛选反馈等阶段。同时，文章还探究了Critique模型在测试时对Actor模型的帮助，以及其在训练过程中对模型性能的影响。此外，文章还分析了Critique模型的扩展性、对Majority Voting性能的影响以及不同计算投入策略对性能的影响。最后，文章介绍了Self-talk自我纠错的形式和构建过程，并初步实验验证了其改善模型性能的效果。
关键观点总结
关键观点1: 全新的双模型协作架构（Two-Player Paradigm）解决了单一模型自我纠正和自我优化的局限性。
引入评判模型参与行为模型的推理过程，实现行为模型的自我改进。
关键观点2: AutoMathCritique框架的构建流程。
包括构建错误推理路径、标注步骤级别反馈和筛选反馈等阶段。
关键观点3: Critique模型在测试时对Actor模型的帮助。
通过引入Critique模型，Actor模型在测试阶段的推理性能得到了显著提升。
关键观点4: Critique模型在训练过程中对模型性能的影响。
Critique模型的引入帮助Actor模型在训练过程中实现自我提升，缓解了长尾分布难题。
关键观点5: Critique模型的扩展性探究。
实验发现，Critique模型对多种模型大小都能提供相似的帮助。
关键观点6: Self-talk自我纠错的探究。
初步实验验证了Self-talk形式帮助模型自我纠错的可能性，虽然表现不如双模型协作架构，但显示了其潜能所在。
文章预览
点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 引言 在 AI 领域，近期的新闻焦点无疑是关于「Scaling Law 是否撞墙？」的辩论。这一曾经被视作大模型发展的第一性原理，如今却遭遇了挑战。 在这样的背景下，研究人员开始意识到，与其单纯堆砌更多的训练算力和数据资源，不如让模型「花更多时间思考」。 以 OpenAI 推出的 o1 模型为例，通过增加推理时间，这种方法让模型能够进行反思、批评、回溯和纠正，大幅提升了推理表现。 但问题在于，传统的自我反思（Self-Reflection）和自我纠正（Self-Correction）方法存在明显局限 —— 模型的表现往往受制于自身能力，缺乏外部信号的引导，因此容易触及瓶颈，止步不前。 ▲ 单一模型在传统自我纠正与自我优化时往往难以纠正自身，而双模型协作架构下能够获得更有建设性的建议。 针对这些
………………………………
