Neural Networks (CCF-B) 特刊征稿：大语言模型时代的模型压缩

文章预览

简介 大语言模型（LLMs）作为基于神经网络的大规模预训练统计语言模型系列，在自然语言处理、多智能体系统和多模态AI等多个领域取得了显著成功。由于应用场景广泛，LLMs 面临显著的效率挑战。直接在个人电脑和智能手机等边缘设备上部署拥有数十亿参数的LLMs几乎是不可能的。这些场景为LLMs时代的模型压缩研究提供了强大动力，例如模型量化、稀疏化和蒸馏，可以降低计算成本并加速推理。 然而，仍有若干挑战阻碍了LLMs压缩方法的广泛实际应用。首先，现有的LLMs压缩算法往往会导致不可避免的性能下降甚至失败，尤其是在极端压缩条件下（如1~2位宽量化）或较小规模模型（参数少于30亿的LLMs）时。这导致压缩后的LLMs难以在实际任务中表现良好。其次，压缩LLMs的硬件部署支持仍然有限，使得在常用的GPU和各种边缘设备（如CPU、FPGA等）上实 ………………………………