大模型SFT数据选择方法综述

文章预览

数据选择方法 一个包含n个实例的指令数据集X = {x₁, x₂, …, xₙ}，每个xᵢ 代表一条指令微调数据。为了使用指定的指令数据选择方法π 从 X 中选择一个大小为 m 的子集 S(m)，我们接着使用预定义的评估指标Q来评估S(m)ₗ 的质量。通过评估指标测量获得的子集质量可以衡量所选择的指令数据选择方法的有效性。 指令数据选择方法的分类基于该方法使用的评分规则以及它采用的模型基础。这些方法可以分为以下4类： 指标体系方法 可训练的LLMs方法 强大的LLM方法 小模型方法 基于指标体系的方法 采用指标体系的方法直接识别多个指标 I₁, I₂, …, Iₙ，从而建立一个全面的指标集。该指标集中的每个指标都有特定的计算公式。值得注意的是，某些指标可能利用深度学习技术从数据集中提取特征，这本质上也是指标形式。这些指标有助于为数据实例计算 ………………………………