360AI推出DiT架构下"省钱版"ControlNet, 参数量骤减85%性能达到SOTA！

文章预览

RelaCtrl团队 投稿至 凹非寺 量子位 | 公众号 QbitAI 现有的可控Diffusion Transformer方法，虽然在推进文本到图像和视频生成方面取得了显著进展，但也带来了大量的参数和计算开销。 同时，由于这些方法未能有效考虑不同Transformer层之间控制信息的相关性，导致资源分配效率低下。 360人工智能研究院的研究团队提出了新一代控制相关性引导的高效可控生成框架—— RelaCtrl 。 该框架通过优化控制信号的集成方式，在Diffusion Transformer中实现了更加高效且资源优化的控制，从而有效解决了上述问题。 团队对常见的T2I Diffusion Transformer进行了实验验证，取得了显著成果。 论文一作为来自中国科学技术大学的二年级硕士生曹可，论文共同一作和项目负责人为来自360 AI Research的AIGC研究员马傲。 目前，相关的研究论文、项目主页和代码仓库已正式开放，并即将开源 ………………………………