LLM指令调优中的数据选择

文章预览

24年2月来自哈尔滨工大和中科院自动化所的论文“A Survey on Data Selection for LLM Instruction Tuning”。 指令调优是训练大语言模型（LLM）的重要步骤，如何提升指令调优的效果受到越来越多的关注。现有研究表明，在LLM的指令调优过程中，数据集的质量比数量更重要。因此，近年来许多研究致力于探索从指令数据集中选择高质量子集的方法，旨在降低训练成本并增强LLM的指令跟随能力。本文对LLM指令调优的数据选择进行全面的综述。首先，介绍广泛使用的指令数据集。然后，提出一种新的数据选择方法分类并详细介绍最近的进展，还详细阐述了数据选择方法的评估策略和结果。最后，强调这项任务面临的挑战并提出前沿问题。 在早期的研究中，指令调优的工作主要集中在构建大规模指令数据集上，而创建指令数据集主要有两种方式。一种是通过模板将现 ………………………………