ICML 2024 Oral | ExCP：大模型Checkpoint极致压缩，精度无损存储降低70倍

文章预览

大型语言模型最近成为人工智能领域的研究热点，然而它们的训练过程耗费巨大的计算和存储资源。因此，高效压缩存储模型的checkpoint文件显得尤为关键。 我们提出了一种创新的模型checkpoint压缩方案（ExCP），该方案能够在保持性能几乎不受损失的前提下，显著降低训练过程中的存储开销 。 首先，我们通过计算相邻checkpoint的残差值来捕获关键但稀疏的信息，从而提高压缩比。接下来，我们实行权重和优化器动量的联合压缩，利用优化器存储的动量信息实现更高效的压缩，并通过压缩优化器动量进一步去除checkpoint中的冗余参数。最终，我们采用非均匀量化及编码压缩策略进一步减小checkpoint文件的存储尺寸。在从410M到7B不同规模的模型上测试我们的压缩框架，特别是在Pythia-410M模型上，我们实现了近乎无损的性能下达到约70倍的压缩比例。 论文标 ………………………………