MIT开源4bit“省钱神器”, 12B的FLUX.1内存骤降3.5倍，速度飙升3.0倍+！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “ 我经常遇到周围的AIGC创业者们给我抱怨说文生图的推理耗时太长、成本太高，然而当我问起他的部署情况时，他一般都会回答我：调用的别人的API! 模型量化是一种优化深度学习模型以减少其存储需求和加速推理过程的技术。在模型量化中，通常会将模型的权重和激活值从浮点数表示转换为更低位宽的整数表示。这种转换通常可以减少模型占用的存储空间，减少内存带宽需求，并且可以加速模型的推理过程，特别是在边缘设备或资源受限的环境下。 本文小编将给大家推荐一个新的节省算力、节约成本的LLM量化算法- SVDQuant，这是一种新的4位量化范式。与在权重和激活之间重新分配异常值的平滑不同，该方法使用低秩分支吸收这些异常值。 首先通过将异常值从激活值 ………………………………