ICML 2024 | 大模型Checkpoint极致压缩，精度无损存储降低70倍

文章预览

前言   本 文通过计算相邻 checkpoint 的残差值来捕获关键但稀疏的信息，从而提高压缩比。接下来，实行权重和优化器动量的联合压缩，利用优化器存储的动量信息实现更高效的压缩，并通过压缩优化器动量进一步去除 checkpoint 中的冗余参数。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 作者： 陈醒濠 来源：PaperWeekly 单位： 华为诺亚方舟实验室 仅用于学术分享，若侵权请联系删除 论文标题： ExCP: Extreme LLM Checkpoint Compression via Weight-Momentum Joint Shrinking 论文地址： https://arxiv.org/abs/2406.11257 代码地址： https://github.com/Gaffey/ExCP 方法 1.1 Checkpoint残差 在训练过程中，当前的参数可以看作上一个checkpoint存储的权重加上逐次迭代时梯度更新的总和，这部分是相对 ………………………………