GroundiT：利用 Diffusion Transformers实现精确无训练空间定位，实现 SOTA 性能 ！

文章预览

前言   本 文利用 Transformer架构的灵活性，证明了DiT可以生成每个边界框对应的噪声块，完全编码目标物体，并允许在每个区域内进行细粒度控制。作者的方法基于DiT的一个有趣属性，作者称之为语义共享。由于语义共享，当一个较小的块与可生成大小的图像联合去噪时，这两个块将变得“语义克隆”。每个块在其生成过程的每个分支中进行去噪，然后将其移植到原始噪声图像的相应区域，每个时间步都结果实现对每个边界框的强健空间定位。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： AIGC先锋科技 仅用于学术分享，若侵权请联系删除 项目主页：https://groundit-visualai.github.io/ 1 介绍 Transformer架构[45]在各种应用中推动了突破，其中扩散模型成为近 ………………………………