ECCV 2024 | EchoScene：通过场景图扩散生成3D室内场景

文章预览

目前的扩散模型 (diffusion models)不能很好的处理场景图 (scene graph)这类高复杂度的数据结构。其复杂性在于图中含有任意可变的节点数量, 多种潜在的节点-节点之间边的语义组合, 节点和边的高度可操作性。因此, 本文提出将每一个节点都关联一个扩散去噪过程, 并使所有的扩散去噪过程根据边的信息进行交互, 以此实现在整体去噪过程中一致的信息传递, 保证了生成结果的可控性并保持和场景图描述信息的一致性。 上述功能是由本文所提的 信息回声 (Information Echo) 机制实现的。基于此机制, 本文提出了EchoScene, 这是一种基于场景图的专注于可控性和交互性的场景生成模型 。经由EchoScene生成的场景可以在推理过程中由用户操作节点和边的关系而发生相应的变化。实验证明了EchoScene在生成内容的可控性和逼真性上超越了现存方法。并且, 生成场景的质量 ………………………………