ICML 2024 | 量化大模型退化严重？ETH北航字节推出LoRA新范式

©作者 |QHT来源 | 量子位大模型应用开卷，连一向保守的苹果，都已释放出发展端侧大模型的信号。问题是，大语言模型（LLM）卓越的表现取决于“力大砖飞”，如何在资源有限的环境中部署大模型并保障性能，仍然颇具挑战。以对大模型进行量化+LoRA的路线为例，有研究表明，现有方法会导致量化的LLM严重退化，甚至无法从LoRA微调中受益。为了解决这一问题，来自苏黎世联邦理工学院、北京航空航天大学和字节跳动的研究人员，最新提出了一种信息引导的量化后LLM微调新算法IR-QLoRA。论文已入选ICML 2024 Oral论文。论文标题：Accurate LoRA-Finetuning Quantization of LLMs via Information Retention论文链接：hhttps://arxiv.org/pdf/2402.05445代码链接：https://github.com/htqin/IR-QLoRA论文介绍，IR-QLoRA能有效改善量化导致的大模型性能退化。在LLaMA和LLaMA 2系列中，用该方法微调的2位 ………………………………