突破多场景训练方法限制！ETH开源SplatFormer：首个专门设计用于在3DGS上运行的点变换器模型

文章预览

点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 分布外新视角合成 新视角合成（Novel View Synthesis, NVS）主要研究如何将二维RGB图像转换为沉浸式三维场景，使用户能够在增强现实（AR）和虚拟现实（VR）环境中自由导航。传统上，该问题通过标准的新视角插值协议进行处理，其中测试视角沿输入视角的轨迹以固定间隔进行采样。基于此协议，已经出现了多种NVS方法，其中最近的3D高斯点云因其在视角插值任务中实现实时和高保真的效果而备受关注。 然而， AR和VR应用不仅要求输入视角之间的平滑过渡，还需要能够从输入分布以外的视角探索新区域 。例如，用户可能希望从高海拔角度观察场景，而这种视角通常在捕获的视图中缺失。尽管新视角插值取得了显著进展，但 分布外新视角合成 （Ou ………………………………