ECCV 2024 | BK-SDM：一种轻量级、快速且廉价的Stable Diffusion版本

文章预览

来源：计算机书童 论文信息 题目：BK-SDM: A Lightweight, Fast, and Cheap Version of Stable Diffusion BK-SDM：一种轻量级、快速且廉价的Stable Diffusion版本 作者：Bo-Kyeong Kim, Hyoung-Kyu Song, Thibault Castells, and Shinkook Choi 源码：https://github.com/Nota-NetsPresso/BK-SDM 论文创新点 架构压缩 ：作者首次展示了通过从Stable Diffusion模型（SDMs）的U-Net中移除多个残差和注意力块，可以显著减少模型大小、计算量（MACs）和推理延迟。与之前的剪枝研究不同，作者的方法专注于大规模基础模型（如SDMs），而不是小型模型（如ResNet50和DeiT-B）。 特征蒸馏 ：作者首次证明了特征蒸馏在训练扩散模型中的显著优势。通过特征级知识蒸馏（KD），即使在显著减少的资源下，也能实现与原始SDMs相当的文本到图像（T2I）生成性能。 轻量级骨干的应用 ：作者展示了轻量级骨干在多个下游任务中的实际应 ………………………………