英伟达等联合推出SpatialRGPT：视觉语言模型中的定位空间推理

文章预览

来源：投稿  作者：橡皮 编辑：学姐 项目主页：https://www.anjiecheng.me/SpatialRGPT 论文链接：https://arxiv.org/abs/2406.01584 unset unset 摘要： unset unset 视觉语言模型 (VLM) 在 2D 视觉和语言任务中表现出色。然而，它们推理空间排列的能力仍然有限。在这项工作中，我们引入了空间区域 GPT (SpatialRGPT) 来增强 VLM 的空间感知和推理能力。SpatialRGPT 通过两项关键创新推进了 VLM 的空间理解：(i) 数据管理管道，能够有效地从 3D 场景图中学习区域表示，以及 (ii) 灵活的“插件”模块，用于将深度信息集成到现有 VLM 的视觉编码器中。在推理过程中，当提供用户指定的区域备选时，SpatialRGPT 可以准确地感知它们的相对方向和距离。此外，我们提出了 SpatialRGBT-Bench，这是一个具有地面实况 3D 注释的基准，涵盖室内、室外和模拟环境，用于评估 VLM 中的 3D 空间认知。我们的 ………………………………