NeurIPS'24｜MaskLLM：英伟达出品，用于大模型的可学习`N:M`稀疏化

文章预览

↑ 点击 蓝字  关注极市平台 作者丨VincentLee 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   本文 提出一种可学习的 LLM 半结构化剪枝方法 MaskLLM ，旨在充分利用大规模数据集来学习准确的 N:M 掩码，适用于通用剪枝和领域特定剪枝。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 论文地址 ： https://arxiv.org/abs/2409.17481 论文代码 ： https://github.com/NVlabs/MaskLLM 创新性 提出一种可学习的 LLM 半结构化剪枝方法 MaskLLM ，旨在充分利用大规模数据集来学习准确的 N:M 掩码，适用于通用剪枝和领域特定剪枝。 此外，该框架促进了跨不同任务的稀疏模式迁移学习，从而实现稀疏性的高效训练。 内容概述 大型语言模型（ LLMs ）的特点是其巨大的参数数量，这通常会导致显著的冗余。论文提出一种可学习的剪枝方法 MaskLLM ，在 LLMs 中建立半结构化（或 ………………………………