北大千问团队推出数学专用版CriticGPT，“找茬”让大模型进步更快

主要观点总结

文章介绍了批评思路在大模型能力提升中的应用，通过OpenAI的“找茬模型”CriticGPT和北大联合千问团队设计的“数学专用版”CriticGPT实例展示了批评机制的有效性。文章还详细描述了Math-Minos数学验证器的开发过程，该验证器通过引入自然语言反馈和逐步分析，有效提升了数学推理任务的准确率。研究团队通过实验验证了Math-Minos在多个数据集上的优越性能，并深入分析了生成器在步骤级别产生的错误类型。

关键观点总结

关键观点1: 批评思路在大模型能力提升中的应用

通过OpenAI的CriticGPT和北大联合团队的数学专用版CriticGPT实例，展示了批评机制在提升大模型能力方面的有效性。

关键观点2: Math-Minos数学验证器的开发

Math-Minos通过引入自然语言反馈和逐步分析，有效提升了数学推理任务的准确率。研究团队通过实验验证了Math-Minos在多个数据集上的优越性能。

关键观点3: 生成器在步骤级别产生的错误分析

研究团队深入分析了生成器在步骤级别产生的错误类型，包括无关错误、累积错误、计算错误、逻辑错误等，并指出在多步骤推理中，步骤错误的可能原因有很多种。

文章预览

蔡泽凡 投稿 量子位 | 公众号 QbitAI 批评不仅能让人进步，也能让大模型的能力提升。 OpenAI就用这个思路造了个“找茬模型”CriticGPT。非常巧合的是，就在CriticGPT放出的前几天，北大联合千问等团队以类似的思路设计出了“数学专用版”CriticGPT。 在无需训练的设置下，验证 器能够在推理时辅助模型在GSM8K上的准确率从86.6%提升到88.2%。 在GSM8K数据集上，它可以让模型的准确率从86.6%提升到88.2%。 CriticGPT的核心思路是在代码中故意设置bug并进行详细标注，然后用得到的数据训练出会debug的模型。 北大团队发现，这种方法不仅在代码当中有用， 也能帮助语言模型解决数学问题 。 于是团队利用相似的思路，把代码换成数学问题，推出了“数学版CriticGPT”—— Math-Minos 。 用GPT4逐步提出修正意见 在数学推理领域， 验证解决方案的正确性 ，是确保推理质量 ………………………………