StaR ｜ 用少量推理数据让模型学会通用推理能力，显著提升模型复杂推理

文章预览

大家好，我是HxShine 今天分享Google Research的一篇文章，可能OpenAI o1也采用了类似的技术，标题是 STaR: Bootstrapping Reasoning With Reasoning 。这篇文章提出了一种利用语言模型自我生成推理的技术，称为“Self-Taught Reasoner (STaR)”。该技术通过 迭代地利用少量的推理样本和大量没有推理的数据，逐步提升语言模型处理复杂推理任务的能力。 STaR能够 显著提高模型在多个数据集上的性能，性能能与大30倍模型的微调性能相当。 本文提出的方法一方面 证明生成中间推理过程能极大提升复杂问题推理效果 ，同时也说明本文 迭代学习自身推理过程来生成合理Rationales并提升复杂任务推理能力的有效性 ，能 用少量的带推理的数据让模型具备通用的生成中间过程推理的能力 。 一、概述 •  Title:  STaR: Bootstrapping Reasoning With Reasoning •  URL:  https://arxiv.org/abs/2203.14465 •  ………………………………