RFT（拒绝采样微调）：提升大模型推理能力

文章预览

↑ 点击 蓝字  关注极市平台 作者丨绝密伏击@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/703848627 编辑丨极市平台 极市导读   论文提出了应用RFT（Rejection sampling Fine-Tuning）拒绝采样来生成和收集正确的推理路径，以此作为增强的微调数据集。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文： https://arxiv.org/pdf/2308.01825 github： https://github.com/OFA-Sys/gsm8k-ScRel 简洁版 如果对RFT已经有所了解，那么我们就开门见山，直接介绍论文的主要方法，如下图所示。 图1：使用RFT优化数学推理能力 整体思路是使用多个小模型（比如Llama1/2-7b/13b）生成推理路径，经过质量筛选和多样性筛选之后，用于更大模型Llama2-70B的SFT。 左边是是小模型RFT的流程，右边是更大模型Llama2-70B的SFT流程。具体步骤如下： 1、训练一轮小模型和大模型： 首先使用问题、回答 ………………………………