一个模型拯救「单目深度」，覆盖3D场景修复&生成、稀疏图重建、深度补全4大功能！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “   深度修复是一种用来重建图像中缺失或遮挡的深度信息的任务，它在许多领域都有责广泛的应用场景，包括3D视觉、机器人和增强现实等。 以前的深度修复方法主要包含两种思路。方法一侧重于根据稀疏的LiDAR深度数据完成到密集的深度。方法二通常采用单目深度估计器来推断单个图像的深度，将修复区域与已知深度对齐。 本文提出了一种基于RGB图像条件深度修复的基础模型DepthLab，它是一个由图像扩散先验提供支持的基础深度修复模型 ，该模型引入了双分支深度修复扩散框架。该方法在各种下游任务中证明了其价值， 包括3D场景修复、文本到3D场景生成、使用DUST3R的稀疏视图重建和LiDAR深度补全等 ，在数值性能和视觉质量方面都超过了当前的解决方案。 ” 项目主 ………………………………