MASt3R 落地 3D 的图像匹配

文章预览

24年6月来自欧洲Naver实验室的论文“Grounding Image Matching in 3D with MASt3R”。 图像匹配是 3D 视觉中所有算法和流水线的核心组件。然而，尽管匹配从根本上来说是一个 3D 问题，与相机姿势和场景几何有着内在联系，但它通常被视为 2D 问题。这是有道理的，因为匹配的目标是在 2D 像素场之间建立对应关系，但这似乎也是一种潜在的危险选择。 这项工作采取了不同的立场，将匹配视为 3D 任务，基于 DUSt3R，一个基于 Transformers 功能强大的 3D 重建框架。基于点图回归，该方法在匹配具有极端视点变化的视图时表现出稳健性，但准确度有限。本文目标在保持稳健性的同时提高匹配能力。因此，附加一个新的头部来增强 DUSt3R 网络，输出密集的局部特征，并使用额外的匹配损失进行训练。进一步解决密集匹配的二次复杂度问题，其对于下游应用非常慢。本文引 ………………………………