全新混合精度量化方案MPQ-Diff | 混合精度量化赋能扩散模型，高效采样不降精度

文章预览

前言   扩散模型（DMs）利用随机降噪过程生成高保真图像，然而，这一过程也带来了采样时间的延长问题。 为解决此问题，研究者们已证实，在固定位宽下对训练完成的扩散模型进行量化，例如采用4位权重和8位激活，能够有效缩短采样时间并保持图像质量。 受DMs层间依赖性和采样步骤差异的观察启发，本研究提出了一种创新的混合精度量化方案——MPQDiff。 该方案针对不同层的权重和激活分配了不同的位宽。 作者建议采用网络正交性度量，即给定层的层间相关性，作为衡量每个采样步骤中层相对重要性的 Agent 指标。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 1. 引言 扩散模型（DMs）近期已成为图像生成领域的尖端技术，其在生成图像的质量与多样 ………………………………