小模型和大模型的量化黑科技

文章预览

大模型时代，模型参数量动辄百亿，甚至千亿，比如GPT-3的参数量达到了1750亿。1750亿个参数，如果采用fp16存储，那么模型的大小约为325.5G。现有最强的计算平台也很难满足其显存要求。 因此，模型“瘦身”已经成了工业界必要的技术，只不过它有一个更正式的名字，叫 模型压缩 。 模型压缩技术 采用如 量化和稀疏 等策略，优化了深度神经网络的部署效率。实际上，无论是大型语言模型、扩散模型还是多模态大型模型，它们的成功部署都依赖于模型压缩技术。 在AI模型火爆的今天，学习模型压缩技术更有助于打通整个AI模型的生产环节，加深对实际项目落地流程的理解。遗憾的是，绝大多数AI领域的工作者更注重训练过程，反而忽视了模型压缩的价值，同时 模型压缩技术路线较多，入门门槛较高 ，进一步导致目前市面上相关 人才稀缺 。 深蓝学 ………………………………