拣回U-Net架构后，计算成本降了80%？华为诺亚等提出用于图像生成的 U 型扩散模型U-DiT

文章预览

作者丨科技猛兽 编辑丨极市平台 极市导读   受到 U-Net 的主干特征是以低频为主的启发，作者对 Self-attention 中的 Query 和 Key 执行了 token 的下采样。计算量显著减少，而且带来了性能上的进一步改进。基于这个方法作者提出了 U-DiT 模型，在计算成本仅为 1/6 的情况下优于 DiT-XL/2。   本文目录 1 U-DiT：一种用于图像生成的 U 型扩散模型 (来自北京华为诺亚方舟实验室，北京大学) 1 U-DiT 论文解读 1.1 U-Net 架构怎么就被 DiT 抛弃了？ 1.2 在 Latent 空间探索 U-Net DiT 模型 1.3 通过 token 下采样增强 U-Net 风格的 DiT 模型 1.4 复杂度分析 1.5 模型的可扩展性 太长不看版 扩散 Transformer (DiTs) 将 Transformer 架构引入到扩散任务中，用于 latent 空间图像生成。DiT 使用连续的 Transformer 块构建，展示出了极具竞争力的性能以及良好的可扩展性。但与此同时，DiT 放弃了 U-Net 架构这 ………………………………