顶刊TPAMI 2024 | PERF：一张2D全景图可合成高质量的360度3D场景

文章预览

研究背景 随着深度学习与 3D 技术的发展，神经辐射场（NeRF）在 3D 场景重建或逼真新视图合成方面取得了巨大的进展。给定一组 2D 视图作为输入，神经辐射场通过优化隐式函数来表示 3D 场景。  然而，在很多情况下，我们只有单张 2D 视图。一些工作尝试从具有 3D 先验的单张图像训练神经辐射场。他们主要关注有限的视野,因此仅需考虑少量的遮挡，这极大地限制了它们在具有大尺寸遮挡的真实 360 度全景场景中的可扩展性。  在很多真实的应用场景下，我们通常需要 360 度全视角的 3D 场景。因此，有必要研究利用 360 度视角相机（例如 Insta360 或者 Ricoh THETA SC2）拍摄的一张 2D 全景图来恢复 360 度全视角的 3D 场景任务，如图 1 所示。 ▲  图1. 单张全景图恢复360度3D场景 研究挑战和存在的方法 利用单张 2D 全景图进行 360 度 3D 全景恢复是一个挑战的 ………………………………