中选ICML Oral！豆包大模型团队实习生提出 IR-QLoRA，将信息论引入LLM

文章预览

本文提出一种新颖的 IR-QLoRA 方法，通过信息保留，推动 LoRA 微调量化下大语言模型保持高度准确性。该成果第一次明确引入信息论视角，透过信息熵相关理论，对大模型量化进行审视与衡量，目前已中选 ICML 2024  Oral 。 成果一作为豆包大模型团队语音组实习生，也是 字节跳动奖学金计划入选者之一。 北京航空航天大学复杂关键软件环境全国重点实验室的老师同学，同样对成果作出贡献。 机器学习界三大顶会之一的 ICML 于 7 月 21 日- 7 月 27 日在维也纳举办，在中选成果中，字节跳动豆包大模型团队语音组校企合作论文 Accurate LoRA-Finetuning Quantization of LLMs via Information Retention 入选 Oral 。 本次 ICML 共接收论文 9653 篇，中选 2609 篇， Oral 仅为 144 篇，占总投稿量 1.5% 。该入选论文提出一种名为 IR-QLoRA 的新颖结构，依靠信息保留方法，推动 LoRA 微调方法 ………………………………