超10平方公里3D场景如何定位？CityLoc：基于扩散模型、文本驱动的6DoF定位框架

文章预览

点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 文本和视觉共同辅助定位 随着大规模多模态理解的兴起，文本和视觉输入之间的联系比以往任何时候都更加紧密。尽管它们通常是互补的，但并非在所有时候都能同时获取。因此，像CLIP、DALLE、LLAVA等方法已经学会了将两者之间相互转换，以便完成多种任务。我们关注的是 如何仅凭文本描述在已知的视觉环境中进行定位 。这样做的 动机有两个方面 ： 通过人类的语言描述理解视觉位置，以便实现自然的人机交互 帮助大语言模型（LLM）通过语言标记探索视觉场景。 主要关注在大规模场景下进行基于文本的6自由度（6DoF）定位，这类场景通常难以通过简单的前馈方法处理。 基于文本的6自由度定位——尤其是在大规模3D场景中——通常是一个模 ………………………………