主要观点总结
东北大学联合Stability AI提出HouseCrafter，能将房子的平面图转换成完整的3D室内场景。该方法的核心是一个2D扩散模型，生成一致多视图RGBD图像。模型架构灵感来自SOTA以对象为中心的新型视图合成模型的设计，但针对场景级内容的几何和语义复杂性进行了重新设计。论文地址和代码地址已提供。
关键观点总结
关键观点1: 介绍HouseCrafter
HouseCrafter是一个将平面图转换为完整的大型3D室内场景的新颖方法。
关键观点2: 方法的核心
方法的核心是一个2D扩散模型，能够生成场景的一致多视图RGBD图像。模型架构针对场景级内容的几何和语义复杂性进行了重新设计。
关键观点3: 模型的特性
HouseCrafter可以生成高质量、具有一致性的RGBD图像，并且可以通过移动平面图上的家具来轻松编辑场景的布局。
关键观点4: 效果与结论
生成的场景具有高质量几何形状和纹理，超越了以前只能生成房间规模场景的方法。用户可以通过移动家具等物品来轻松编辑场景布局，并且场景会相应改变。
文章预览
东北大学联合Stability AI提出HouseCrafter，能够将房子的平面图转成完整的3D室内场景！ 方法的核心是一个 2D 扩散模型，它可以生成场景的一致多视图 RGBD 图像。我们的模型架构灵感来自 SOTA 以对象为中心的新型视图合成模型的设计，但针对场景级内容的几何和语义复杂性进行了重新设计。 相关链接 论文地址：https://arxiv.org/abs/2406.20077 代码地址：https://github.com/google/placeholder（即将开源） 论文阅读 HouseCrafter: 利用 2D 扩散模型将平面图提升到 3D 场景 摘要 我们推出了 HouseCrafter，这是一种新颖的方法，可以将平面图提升为完整的大型 3D 室内场景（例如房屋）。 我们的主要见解是调整在网络规模图像上训练的 2D 扩散模型，以在场景的不同位置生成一致的多视图颜色 (RGB) 和深度 (D) 图像。具体来说，RGB-D 图像以分批方式自回归地沿着基于布局图的采样
………………………………
