NeurIPS 2024 ｜ SparseLLM：突破性全局剪枝技术，大语言模型稀疏化革命

文章预览

NeurIPS 2024 ｜ SparseLLM：突破性全局剪枝技术，大语言模型稀疏化革命 1.摘要 大型语言模型（LLMs）如 GPT 和 LLaMA 已经彻底改变了自然语言处理领域，但其计算成本极高。我们在论文中提出了 SparseLLM ，一种创新的全局剪枝框架，使得大规模模型压缩更加高效。 SparseLLM 通过将全局剪枝问题分解为更小的子问题，在保持卓越性能的同时实现了内存和计算效率，尤其在高稀疏率情况下表现尤为突出。 我们的方法在困惑度（perplexity）降低和灵活性上超越了当前的最先进方法 。 2.作者 Guangji Bai¹，Yijiang Li²，Chen Ling¹，Kibaek Kim²，Liang Zhao¹* ¹Emory University ²Argonne National Lab *Corresponding Author 论文链接：https://arxiv.org/abs/2402.17946 代码： https://github.com/BaiTheBest/SparseLLM 3.情景导入 随着大型语言模型（LLMs）如 GPT 和 LLaMA 在自然语言处理领域的突破，现如今的模型能 ………………………………