完全使用「自生成数据」实现LLM自我纠正，DeepMind新突破SCoRe：纠正性能提升15.9%

主要观点总结

Google DeepMind发布了一种名为SCoRe的多轮在线强化学习方法，显著提升了大型语言模型在没有外部输入的情况下的自我修正能力。该方法基于自我纠正策略的强化学习训练，提升了模型自我修正的性能，通过正则化学习过程防止模型行为崩溃。实验结果显示，SCoRe在MATH和HumanEval基准测试中，显著提高了模型的自我纠正性能。研究人员分析了SCoRe在大型语言模型自我纠正能力方面的应用及其与其他方法的比较。

关键观点总结

关键观点1: SCoRe方法使用在线多轮强化学习提高大型语言模型的自我修正能力。

该方法在完全使用自生成数据的情况下，显著提高了LLM的自我纠正能力。

关键观点2: SCoRe解决了现有自我纠正训练方法的问题。

现有方法要么需要多个模型，要么依赖更强大的模型或其他形式的监督信号。而SCoRe只需要训练一个模型，既可以对推理问题产生回复，也可以在没有接收到任何预言信号反馈的情况下纠正错误。

关键观点3: SCoRe的实验结果。

在MATH和HumanEval基准测试中，SCoRe将基础模型的自我纠正性能提高了15.6%和9.1%。此外，SCoRe还显示出强大的离线修复性能，将MBPP-R的准确率从47.3%提高到60.6%。

免责声明