【real3D:单视图3维重建大模型】

文章预览

《Real3D: Scaling Up Large Reconstruction Models with Real-World Images》是一篇介绍Real3D系统的学术论文，该系统是首个能够使用单视图真实世界图像进行训练的大型重建模型（LRM）。Real3D提出了一种新颖的自训练框架，能够利用现有的合成数据和多样化的单视图真实图像。该框架包括两个无监督损失函数，即使在没有地面真实3D数据或新视图的情况下，也能够在像素级和语义级对LRM进行监督。此外，为了提高性能并扩大图像数据的规模，Real3D开发了一种自动数据筛选方法，从野外图像中收集高质量的示例。实验结果表明，Real3D在包括真实数据和合成数据、领域内和领域外形状的四种不同评估设置中，均一致优于以往的工作。 具体来说，Real3D的关键特点包括： 1. **自训练框架**：允许模型在没有多视图真实数据监督的情况下进行训练。 2. **无监督损失**：包括像素 ………………………………