Make U-Nets Great Again！北大 & 华为提出扩散架构U-DiT，六分之一算力即可超越DiT

文章预览

↑ 点击 蓝字  关注极市平台 作者丨机器之心 来源丨机器之心 编辑丨极市平台 极市导读   本文提出了一种新的基于U-Net的扩散模型U-DiT，该模型通过下采样自注意力机制，在降低算力需求的同时，实现了比传统DiT模型更好的图像生成效果。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 Sora 的发布让广大研究者及开发者深刻认识到基于 Transformer 架构扩散模型的巨大潜力。作为这一类的代表性工作，DiT 模型抛弃了传统的 U-Net 扩散架构，转而使用直筒型去噪模型。鉴于直筒型 DiT 在隐空间生成任务上效果出众，后续的一些工作如 PixArt、SD3 等等也都不约而同地使用了直筒型架构。 然而令人感到不解的是，U-Net 结构是之前最常用的扩散架构，在图像空间和隐空间的生成效果均表现不俗；可以说 U-Net 的 inductive bias 在扩散任务上已被广泛证实是有 ………………………………