ICML 2024 | 量化大模型退化严重？ETH北航字节推出LoRA新范式

文章预览

©作者 | QHT 来源 |  量子位 大模型应用开卷，连一向保守的苹果，都已释放出发展端侧大模型的信号。 问题是，大语言模型（LLM）卓越的表现取决于“力大砖飞”，如何在资源有限的环境中部署大模型并保障性能，仍然颇具挑战。 以对大模型进行量化+LoRA的路线为例，有研究表明，现有方法会导致量化的LLM严重退化，甚至无法从LoRA微调中受益。 为了解决这一问题，来自苏黎世联邦理工学院、北京航空航天大学和字节跳动的研究人员，最新提出了一种信息引导的量化后LLM微调新算法IR-QLoRA 。论文已入选ICML 2024 Oral论文。 论文标题： Accurate LoRA-Finetuning Quantization of LLMs via Information Retention 论文链接： hhttps://arxiv.org/pdf/2402.05445 代码链接： https://github.com/htqin/IR-QLoRA 论文介绍，IR-QLoRA能有效改善量化导致的大模型性能退化。在LLaMA和LLaMA 2系列中，用该方法 ………………………………