【论文日报合集】英伟达开源MaskLLM剪枝技术，显著降低LLM推理成本

文章预览

1. MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models 点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入 大规模语言模型（LLMs）以其庞大的参数量为特点，通常导致显著的冗余。本文介绍了MaskLLM，这是一种可学习的剪枝方法，旨在为LLMs建立半结构化（或“N:M”）稀疏性，以减少推理过程中的计算开销。MaskLLM没有开发新的重要性标准，而是通过Gumbel Softmax抽样显式地将N:M模式建模为可学习的分布。这种方法使得在大规模数据集上端到端训练成为可能，并提供了两个显著的优势：1）高质量的mask——我们的方法有效地扩展到大型数据集并学习准确的mask；2）可转移性——mask分布的概率建模使得稀疏性能够在不同领域或任务之间进行转移学习。我们使用2:4稀疏性评估了MaskLLM，包括LLaMA-2、Nemotron-4和GPT-3 ………………………………