重新思考大模型微调的数据选择 | 如何通过特定任务微调恢复损坏的语言模型 | 探究Mamba的长度推断潜力

文章预览

前言： 看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货”哦！ 1. 提精华、去糟粕：重新思考大模型微调的数据选择   标题： Take the essence and discard the dross: A Rethinking on Data Selection for Fine-Tuning Large Language Models   机构： 中国科学技术大学   相关领域： 模型结构改进、预训练、指令微调、奖励模型   作者： Ziche Liu,  Rui Ke,  Feng Jiang   分析： 这篇论文主要探讨了大语言模型的数据选择问题，旨在从给定的候选数据集中选择一个高质量的子集来训练一个待微调模型，以提高模型性能并加速训练过程。作者首先提出了一个分阶段的数据选择方案，并根据该方案对现有方法进行了 ………………………………