主要观点总结
Google DeepMind发布了一种名为SCoRe的多轮在线强化学习方法，显著提升了大型语言模型在没有外部输入的情况下的自我修正能力。该方法基于自我纠正策略的强化学习训练，提升了模型自我修正的性能，通过正则化学习过程防止模型行为崩溃。实验结果显示，SCoRe在MATH和HumanEval基准测试中，显著提高了模型的自我纠正性能。研究人员分析了SCoRe在大型语言模型自我纠正能力方面的应用及其与其他方法的比较。
关键观点总结
关键观点1: SCoRe方法使用在线多轮强化学习提高大型语言模型的自我修正能力。
该方法在完全使用自生成数据的情况下，显著提高了LLM的自我纠正能力。
关键观点2: SCoRe解决了现有自我纠正训练方法的问题。
现有方法要么需要多个模型，要么依赖更强大的模型或其他形式的监督信号。而SCoRe只需要训练一个模型，既可以对推理问题产生回复，也可以在没有接收到任何预言信号反馈的情况下纠正错误。
关键观点3: SCoRe的实验结果。
在MATH和HumanEval基准测试中，SCoRe将基础模型的自我纠正性能提高了15.6%和9.1%。此外，SCoRe还显示出强大的离线修复性能，将MBPP-R的准确率从47.3%提高到60.6%。
文章预览
新智元报道 编辑：LRS 【新智元导读】 Google DeepMind的SCoRe方法通过在线多轮强化学习，显著提升了大型语言模型在没有外部输入的情况下的自我修正能力。该方法在MATH和HumanEval基准测试中，分别将自我修正性能提高了15.6%和9.1%。 OpenAI最新发布的o1模型再次证明了自我纠正、显式思考过程在大模型推理中的重要性，思维链可以帮助大模型分解复杂问题，利用计算和交互来改进模型在测试时的性能。 不过，最近有多项研究结果表明，大模型在缺乏外部输入的情况下，基本上无法实现自我纠正，而现有的自我纠正训练方法要么需要多个模型，要么依赖更强大的模型或其他形式的监督信号。 Google DeepMind的研究人员发布了一种多轮在线强化学习（RL）方法 SCoRe，在完全使用自生成数据（entirely self-generated data）的情况下，显着提高了LLM的自我纠正能力
………………………………
