扩散模型低位量化突破！有效扩散量化的极限推向2-4位，W2A4位宽下FID降低58%，超越SOTA方法

主要观点总结

本文介绍了MPQ-DM团队在降低扩散模型的计算成本方面的最新研究。通过使用混合精度量化方法和时间平滑关系蒸馏技术，该团队在极低位量化下保持了扩散模型的高性能。他们在多个数据集上进行了实验，证明了所提出方法的有效性。

关键观点总结

关键观点1: 研究背景

扩散模型在生成任务中受到广泛关注，但昂贵的计算成本阻碍了其在资源受限场景中的应用。

关键观点2: 混合精度量化方法（OMQ）

使用峰度来量化异常值显著信道，并应用优化的层内混合精度比特宽度分配，以在目标效率范围内恢复精度性能。

关键观点3: 时间平滑关系蒸馏（TRD）

在量化扩散模型与其全精度对应物之间构建时间平滑关系蒸馏方案，将离散和连续的潜势转移到统一的关系空间，以减少表示的不一致性。

关键观点4: 实验结果

在多个数据集上的实验结果表明，与现有方法相比，MPQ-DM在极低的比特宽度下实现了显著的精度增益。

关键观点5: 消融实验

对提出的混合精度量化和关系蒸馏方法进行了全面的消融实验，验证了每个组件的有效性。

文章预览

MPQ-DM团队 投稿 量子位 | 公众号 QbitAI 降低扩散模型生成的计算成本，性能还保持在高水平！ 最新研究提出一种用于极低位差分量化的 混合精度量化 方法。 △ 图1 W2A6位宽下基线和MPQ-DM生成的样本可视化 目前，扩散模型在生成任务中受到了广泛关注。然而，昂贵的计算成本阻碍了扩散模型在资源受限场景中的应用。 量化是一种实用的解决方案，通过减少参数的位宽来显著节省存储和计算。然而，现有的扩散模型量化方法仍然会导致性能严重下降，特别是在极低的位宽 （2-4位） 下。 性能的主要下降来自 低位量化时激活值的显著离散化 。太少的激活候选对离群值显著权重通道量化不友好，离散特征阻碍了扩散模型在不同时间步长上的稳定学习。 为此，来自中国科学院计算技术研究所、苏黎世联邦理工学院、北京交通大学的研究人员提出了由离群 ………………………………