中山大学 & 上海 AI Lab 提出 EP-BEV | 全景BEV联合检索网络，推动跨视角图像地理...

主要观点总结

本文介绍了一种跨视角图像地理定位方法，通过全景BEV联合检索网络进行街景图像的地理定位。该方法通过利用地面平面假设和几何关系，将街景全景图像转换为BEV视图，从而减少了与卫星图像之间的差距。作者引入了一个新的数据集CVGlobal，以更接近实际场景的跨视角数据集，并进行了广泛的实验评估。

关键观点总结

关键观点1: 全景BEV联合检索网络

作者提出了一种新的跨视角图像地理定位方法，通过全景BEV联合检索网络进行街景图像的检索。该方法结合了街道视角全景图和BEV图像进行卫星检索，克服了BEV表示的感知范围有限问题，全面感知全球布局和局部细节。

关键观点2: CVGlobal数据集的引入

作者引入了一个新的跨视角数据集CVGlobal，该数据集更接近实际应用场景，包含了跨区域、跨时间以及街道视图到地图检索的任务，旨在全面评估算法性能。

关键观点3: 显式全景BEV变换

作者提出了一种显式的全景BEV变换方法，通过几何关系和地面平面假设，将街景全景图像转换为BEV视图，无需进行内部或深度估计，有效地减小了街景和卫星视角之间的差距。

关键观点4: 双分支检索结构

作者采用了双路径结构来实现街道视图全景图像和BEV的协同检索任务。街道视图检索分支直接使用原始街道视图输入，覆盖更广泛的观察范围，而BEV检索分支则使用转换后的EP-BEV输入，强调街道视图附近的多视图信息。

关键观点5: 广泛的实验评估

作者在多个数据集上进行了实验评估，包括CVUSA、CVACT、VIGOR以及作者自己的CVGlobal数据集。实验结果表明，作者的方法在跨视角图像检索任务上取得了显著的效果。

免责声明