全量指令微调有害！

文章预览

【点击】 加入大模型技术交流群 原文： h ttps://zhuanlan.zhihu.com/p/721870518 https://openreview.net/forum?id=XkHJo8iXGQ 本文介绍一篇相当有意思的文章，该文章的内容对我们使用指令微调将预训练模型改造为chat模型和下游专业模型相当有指导意义。本文的标题听起来有些唬人，有些标题党，但是这个论点在一定的限定条件下是成立的，笔者归纳为：对充分预训练的模型使用通用指令微调数据集进行全量微调有害。 一. LoRA指令微调并不能学习知识，但它很优秀 试图使用指令微调来为模型灌输知识，其实是一个很常见的做法。然而只要这样做过的人会发现，效果并不会特别好，特别是使用LoRA训练时，模型几乎学不到任何知识。笔者自己的实践是，在使用LoRA对一个Llama3.1本身没有怎么预训练过的内容进行微调时，最终的结果和随机预测基本没有区别（分类和回归任 ………………………………