别只盯着DiT，国产模型也在暗自发力！U-ViT：ViT 架构实现 Diffusion 的开山之作！

文章预览

作者丨科技猛兽    编辑丨极市平台 导读   本文的提出比 DiT 还要早一点，而且本文是用 ViT 架构实现 Diffusion 模型的开山之作，使用 ViT 来替换 Diffusion 模型中基于卷积的 U-Net 架构，同时维持模型宏观的 U 形架构不变。 本文目录 1 扩散模型解读 (六)：U-ViT：基于 ViT 的扩散模型的先驱之作 (来自清华大学，中国人民大学，北京智源) 1 U-ViT 论文解读 1.1 使用 ViT 实现扩散模型 1.2 扩散模型简介 1.3 U-ViT 的具体做法 1.4 深度、宽度和 Patch Size 的影响 1.5 实验结果 太长不看版 OpenAI Sora [1] 酷炫的效果及其与 Transformer 架构的关联使得领域开始关注基于 Transformer 的架构的扩散模型 Diffusion Transformer (DiT) [2] 。DiT 的特点是使用 vanilla 的 Transformer 架构，即相同的 Transformer Block 从头到尾，顺序排列，没有大 Shortcut 连接，极其简单的宏观架构。 本文的提出比 DiT 还要早 ………………………………