NeurIPS 2024 | 突破性全局剪枝技术SparseLLM：大语言模型稀疏化革命

文章预览

©作者 |  白光霁 单位 |  埃默里大学博士生 来源 |  机器之心 论文标题： SparseLLM: Towards Global Pruning of Pre-trained Language Models 论文链接： https://arxiv.org/abs/2402.17946 代码链接： https://github.com/BaiTheBest/SparseLLM 情景导入 随着大型语言模型（LLMs）如 GPT 和 LLaMA 在自然语言处理领域的突破，现如今的模型能够在各种复杂的语言任务中表现优异。然而，这些模型往往包含数十亿参数，导致计算资源的需求极为庞大。为了让 LLMs 在更多的实际应用中变得可行，研究人员进行了大量的模型压缩工作，其中包括剪枝、量化、知识蒸馏和低秩分解等方法。 剪枝作为一种重要的压缩策略，通过引入稀疏性提升了内存和计算效率。尽管剪枝的有效性已在视觉任务和较小规模的语言模型中得到验证，但全局剪枝由于需要将整个模型加载到同一个 GPU 中，对于如今的大规模 LL ………………………………