AffineQuant: 大语言模型的仿射变换量化

文章预览

AffineQuant: Affine Transformation Quantization for Large Language Models 1. 论文信息 2. 引言 本文研究了大型语言模型（LLMs）在移动和边缘设备上的推理加速问题，这一问题在现实应用中具有重要意义。随着大型语言模型在多种任务中展现出卓越的性能，它们吸引了越来越多的关注。然而，这些模型通常需要庞大的计算资源，尤其是在训练和推理阶段。特别是在资源受限的移动和边缘设备上，模型的高效推理显得尤为重要。为此，研究者们寻求通过压缩技术，如量化，来减少模型的存储需求和计算负担。量化是一种有效的方法，通过将权重和激活映射到低比特表示来实现。 然而，量化经常会带来性能损失，尤其是在模型较小或使用低比特设置时。因此，后训练量化（PTQ）成为了一种受到关注的策略，它允许在不进行模型重训练的情况下进行优化，但这需要巧妙地 ………………………………