ECCV'24 | 高保真目标修复新SOTA！复旦 & 智象开源CAT-Diffusion，语义视觉双一致

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Yifu Chen等 来源丨AI生成未来    编辑丨极市平台 极市导读   采用级联的Transformer语义修复器与目标修复扩散模型，提出了新型的Cascaded Transformer-Diffusion（CAT-Diffusion）框架。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 文章链接： https://arxiv.org/pdf/2409.08260 Github链接： https://github.com/Nnn-s/CATdiffusion 总结速览 解决的问题 : 单一U-Net在所有去噪步骤中对齐文本提示和视觉对象不足以生成期望的对象。 扩散模型的复杂采样空间中无法保证对对象生成的可控性。 提出的方案 : 语义预修复 ：在多模态特征空间中推理目标对象的语义特征。 高保真度的对象生成 ：在扩散的潜在空间中基于已修复的语义特征生成目标对象。 应用的技术 : 采用级联的Transformer语义修复器与目标修复扩散模型，提出了新型的Cascaded Transformer-D ………………………………