一文剖析模型压缩（量化、稀疏）经典算法

文章预览

大模型时代，模型参数量动辄百亿，甚至千亿，比如 GPT-3 的参数量达到了 1750 亿。 1750 亿个参数，如果采用 fp16 存储，那么模型的大小约为 325.5 G 。现有最强的计算平台也很难满足其显存要求。 因此，模型 “瘦身”已经成了工业界必要的技术，只不过它有一个更正式的名字，叫 模型压缩 。 模型压缩技术 采用如 量化和稀疏 等策略，优化了深度神经网络的部署效率。实际上，无论是 大型语言模型、扩散模型 还是 多模态大型模型 ，它们的成功部署都依赖于模型压缩技术。 在AI模型火爆的今天，学习模型压缩技术更有助于打通整个AI模型的生产环节，加深对实际项目落地流程的理解。 遗憾的是，绝大多数AI领域的工作者更注重训练过程，反而 忽视了模型压缩的价值 ，同时 模型压缩技术路线较多，入门门槛较高 ，进一步导致目前市面上相关 人才 ………………………………