拣回U-Net架构后，计算成本降了80%？华为诺亚等提出用于图像生成的 U 型扩散模型U-DiT

文章预览

作者丨科技猛兽     编辑丨极市平台 极市导读   受到 U-Net 的主干特征是以低频为主的启发，作者对 Self-attention 中的 Query 和 Key 执行了 token 的下采样。计算量显著减少，而且带来了性能上的进一步改进。基于这个方法作者提出了 U-DiT 模型，在计算成本仅为 1/6 的情况下优于 DiT-XL/2。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 扩散 Transformer (DiTs) 将 Transformer 架构引入到扩散任务中，用于 latent 空间图像生成。DiT 使用连续的 Transformer 块构建，展示出了极具竞争力的性能以及良好的可扩展性。但与此同时，DiT 放弃了 U-Net 架构这个举动也同样值得重新思考。 为此，作者进行了一个简单的实验来比较 U-Net 架构下的 DiT 以及原始 DiT 架构的优越性。结果表明，U-Net 架构的 DiT 仅获得了轻微的优势，表明 U-Net 风格的 DiT 中存在潜在的 ………………………………