扩散模型的低比特量化方案探索，Q-DM：性能比肩全精度模型相当｜扩散模型经典解读

文章预览

作者丨科技猛兽   编辑丨极市平台 极市导读   本文 提出 Timestep-aware Quantization (TaQ) 方法减少输出分布的振荡，提出 Noise-estimating Mimicking (NeM) 策略来减小累积误差。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文目录 1 Q-DM：低比特扩散模型 (来自北航，上海 AI Lab) 1 Q-DM 论文解读 1.1 把量化感知训练引入扩散模型 1.2 扩散模型背景简介 1.3 量化过程简介 1.4 扩散模型量化的挑战 1.5 实验结果 太长不看版 本文探索了扩散模型的低比特量化方案，是对扩散模型进行量化的先驱工作之一。量化 (Quantization) 是一种通过低比特精度参数和运算来显著减小内存消耗和计算消耗的技术。本文研究的是如何将量化技术应用到扩散模型。 本文观察到在扩散模型中应用低比特量化技术得到的结果很差，原因是作者发现低比特扩散模型性能存在瓶颈的原因是： ………………………………