CVPR 2024 | 万物皆可移动！SceneDiffusion：可控场景生成新SOTA!（Meta AI&南洋理工）

文章预览

文章链接：https://arxiv.org/pdf/2404.07178 扩散模型生成的图像质量达到了前所未有的水平，但我们如何自由重新排列图像布局呢？最近的研究通过学习空间解耦的潜在编码生成可控场景，但由于扩散模型的固定前向过程，这些方法并不适用。 在这项工作中，本文提出了 SceneDiffusion ，在扩散采样过程中优化分层场景表示。本文的关键洞察是，通过联合去噪不同空间布局的场景渲染，可以获得空间解耦。生成的场景支持各种空间编辑操作，包括移动、调整大小、克隆和分层外观编辑操作，包括对象重塑和替换。此外，可以根据参考图像生成场景，从而实现对自然场景图像进行对象移动。值得注意的是，这种方法无需训练，与一般的文本到图像扩散模型兼容，并且在不到一秒的时间内响应。 更多生成可控场景结果 介绍 可控场景生成，即生成具有可重新排 ………………………………