ICML 2024 | ETH/北航/字节提出IR-QLoRA：大模型微调新算法

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信：CVer5555，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ QHT 投稿 转载自：量子位（QbitAI） 大模型应用开卷，连一向保守的苹果，都已释放出发展端侧大模型的信号。 问题是，大语言模型 （LLM） 卓越的表现取决于“力大砖飞”，如何在资源有限的环境中部署大模型并保障性能，仍然颇具挑战。 以对大模型进行量化+LoRA的路线为例，有研究表明，现有方法会导致量化的LLM严重退化，甚至无法从LoRA微调中受益。 为了解决这一问题，来自苏黎世联邦理工学院、北京航空航天大学和字节跳动的研究人员，最新提出 ………………………………