CVPR2024 | 扩散模型无损加速神器DeepCache：几行代码实现SD v1.5 2.3倍提速，已开源！

文章预览

点击下方 卡片 ，关注“ AICV与前沿 ” 文章地址：https: //arxiv.org/abs/2312.00858 项目地址：https: //github.com/horseee/DeepCache 01 | 导言 近年来，扩散模型以其卓越的生成能力在图像合成领域获得了前所未有的关注。尽管这些模型非常强大，但通常会产生大量的计算成本，主要归因于顺序去噪过程和繁琐的模型尺寸。传统的压缩扩散模型的方法通常需要大量的再训练，存在成本和可行性方面的挑战。 本文 介绍了一种新的无训练范式DeepCache，它从模型架构的角度加速了扩散模型。Dee pCache利用扩散模型顺序去噪步骤中观察到的固有时间冗余，缓存和检索相邻去噪阶段的特征，从而减少冗余计算 。利用U-Net的特性，可以重用高级特征，同时以非常便宜的方式更新低级特征。这一创新策略反过来使稳定扩散v1.5的加速系数达到2.3倍，CLIP评分仅下降0.05，而LDM-4-G的加 ………………………………