专栏名称: oldpan博客
老潘的博客,程序员眸中的fantasy life,分享AI技术干货,让大家少走弯路~
今天看啥  ›  专栏  ›  oldpan博客

商汤团队详解模型压缩技术:内含量化、稀疏及实战经验分享

oldpan博客  · 公众号  ·  · 2024-10-29 10:10
    

文章预览

大模型时代,模型参数量动辄百亿,甚至千亿,比如 GPT-3 的参数量达到了 1750 亿。 1750 亿个参数,如果采用 fp16 存储,那么模型的大小约为 325.5 G 。现有最强的计算平台也很难满足其显存要求。 因此,模型 “瘦身”已经成了工业界必要的技术,只不过它有一个更正式的名字,叫 模型压缩 。 模型压缩技术 采用如 量化和稀疏 等策略,优化了深度神经网络的部署效率。实际上,无论是 大型语言模型、扩散模型 还是 多模态大型模型 ,它们的成功部署都依赖于模型压缩技术。 在AI模型火爆的今天,学习模型压缩技术更有助于打通整个AI模型的生产环节,加深对实际项目落地流程的理解。 遗憾的是,绝大多数AI领域的工作者更注重训练过程,反而 忽视了模型压缩的价值 ,同时 模型压缩技术路线较多,入门门槛较高 ,进一步导致目前市面上相关 人才 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览