数据或许比算法更重要？不要轻视大模型剪枝中的校准数据

文章预览

近年来，大语言模型（Large Language Model, LLM）日益强大的性能吸引了各行各业的关注，并逐步在各种领域得到了广泛应用。为了节省大模型部署的成本，降低大模型服务延迟，越来越多的研究聚焦于大语言模型轻量化，试图平衡大语言模型的性能与效率。 剪枝是实现模型轻量化的重要技术之一，它通过删去模型中重要性较低的参数减少模型的参数量。近期，学术界提出了多种剪枝技术，这些方法利用少量校准数据（一般是128条2048个token的文本）无需迭代式的训练就能度量并识别出重要性较低的参数，一般被称为训练后剪枝。训练后剪枝的目标如下： 其中 是第 层的参数, 是第 层的输入表示, 与校准数据相关, 是第 层的剪枝后的参数。训练后剪枝包括两个主要要素：校准数据与剪枝算法。校准数据影响了剪枝算法的目标函数, 剪枝算法则是寻 ………………………………