突破瓶颈！北航ETH等首次将扩散模型完全量化至1bit，28倍存储节省+52.7倍效率提升

主要观点总结

本文提出了BiDM，一种全新的完全二值化方法，用于将扩散模型推向极限压缩。通过从时间和空间角度提出的创新技术，解决了完全二值化中的表示能力限制和高度离散的空间优化挑战。BiDM在多个模型和数据集上表现出显著优于现有方法的生成性能。

关键观点总结

关键观点1: 创新提出BiDM方法，实现扩散模型的完全二值化。

首次将扩散模型推向极限压缩，通过二值化权重和激活，实现高效的存储和计算。

关键观点2: 解决二值化中的表示能力限制。

通过提出时间步友好的二值结构和空间分块蒸馏方法，解决完全二值化中的表示能力限制。

关键观点3: 克服高度离散的空间优化挑战。

利用空间分块蒸馏方法，将中间特征划分为小块，逐块计算空间自注意力，使二值模型在优化过程中更好地利用局部信息。

关键观点4: 显著优于现有最先进通用二值化方法的生成性能。

在多个模型和数据集上进行实验，证明BiDM的生成性能显著优于现有方法。

关键观点5: 高效的推理效率。

BiDM实现了高达28.0倍的存储节省和52.7倍的运算效率提升。

文章预览

BiDM团队 投稿 量子位 | 公众号 QbitAI 将扩散模型量化到1比特极限，又有新SOTA了！ 来自北航、ETH等机构的研究人员提出了一种名为 BiDM 的新方法，首次将扩散模型 （DMs） 的权重和激活完全二值化。 具体而言，作者们从 时间 和 空间 的角度对扩散模型进行了优化： 从时间角度来看，引入了“时间步友好二值结构”（TBS），通过可学习的激活二值化器和跨时间步特征连接来应对DMs高度时间步相关的激活特征。 从空间角度来看，提出了“空间分块蒸馏”（SPD），目标是解决二值化特征匹配的困难，特别关注图像生成任务和噪声估计网络的空间局部性。 实验结果显示，W1A1 BiDM在LSUN-Bedrooms 256×256上的LDM-4模型上取得了22.74的FID分数，远远超越了当前状态的最先进通用二值化方法的59.44分，并实现了高达 28倍 的存储节省和 52.7倍 的操作效率提升。 下面具体 ………………………………