HouseCrafter：一键将房子的平面图转成完整的3D室内场景！

文章预览

东北大学联合Stability AI提出HouseCrafter，能够将房子的平面图转成完整的3D室内场景！ 方法的核心是一个 2D 扩散模型，它可以生成场景的一致多视图 RGBD 图像。我们的模型架构灵感来自 SOTA 以对象为中心的新型视图合成模型的设计，但针对场景级内容的几何和语义复杂性进行了重新设计。 相关链接 论文地址：https://arxiv.org/abs/2406.20077 代码地址：https://github.com/google/placeholder（即将开源） 论文阅读 HouseCrafter: 利用 2D 扩散模型将平面图提升到 3D 场景 摘要 我们推出了 HouseCrafter，这是一种新颖的方法，可以将平面图提升为完整的大型 3D 室内场景（例如房屋）。 我们的主要见解是调整在网络规模图像上训练的 2D 扩散模型，以在场景的不同位置生成一致的多视图颜色 (RGB) 和深度 (D) 图像。具体来说，RGB-D 图像以分批方式自回归地沿着基于布局图的采样 ………………………………