Neural Networks（CCF-B）特刊征稿：大语言模型时代的模型压缩

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 大语言模型（LLMs）作为基于神经网络的大规模预训练统计语言模型系列，在自然语言处理、多智能体系统和多模态AI等多个领域取得了显著成功。由于应用场景广泛，LLMs 面临显著的效率挑战。直接在个人电脑和智能手机等边缘设备上部署拥有数十亿参数的LLMs几乎是不可能的。这些场景为LLMs时代的模型压缩研究提供了强大动力，例如模型量化、稀疏化和蒸馏，可以降低计算成本并加速推理。然而，仍有若干挑战阻碍了LLMs压缩方法的广泛实际应用。首先，现有的LLMs压缩算法往往会导致不可避免的性能下降甚 ………………………………