1.58-bit FLUX：推理显存降低5.1倍，不到5GB显存可跑！

文章预览

刚刚，字节团队发布了一个Flux模型的量化工作： 1.58-bit FLUX。1.58-bit FLUX 成功在FLUX.1-dev上使用1.58位权重（即值在{-1, 0, +1}中）量化方案，并基本保持原始模型生成1024x1024图像的性能。在使用1.58位操作优化的定制内核之后，可以实现模型存储减少7.7倍，推理内存减少5.1倍，并降低模型的推理延迟。 1.58-bit FLUX不仅将模型存储成本降低到2.9GB，同时推理显存之需要不到5GB。 1.58-bit FLUX的量化不需要图像数据集，这里只使用一个校准数据集，该数据集包含来自Parti-1k数据集和T2I CompBench的训练集的文本提示词，总共有7,232个提示词。量化将FLUX中FluxTransformerBlock和FluxSingleTransformerBlock的所有线性层的权重减少到1.58位，涵盖了模型总参数的99.5%。 量化之后，1.58-bit FLUX在两个文生图benchmark上（GenEval 和T2I Compbench）能够基本保持原来Flux的性能，这说明量化后的1.58-bit ………………………………