3D视觉理解GPT4Scene：通过视觉-语言模型从视频中理解3D场景

文章预览

作者 | Zhangyang 点击下方 卡片 ，关注“ 3D视觉之心 ”公众号 第一时间获取 3D视觉干货 >> 点击进入→ 3D视觉之心技术交流群 摘要 近年来，二维视觉-语言模型（VLMs）在图像-文本理解任务中取得了显著进展。然而，它们在3D空间理解方面的性能仍然有限，这对于具身智能至关重要。最近的进展利用了3D点云和多视图图像作为输入，取得了有希望的结果。然而，我们提出了一种纯粹基于视觉的解决方案，该方案受到人类感知的启发，仅依赖视觉线索进行3D空间理解。本文实证研究了VLMs在3D空间知识方面的局限性，揭示了它们的主要缺陷在于场景与单个帧之间缺乏全局-局部对应关系。为了解决这个问题，我们引入了GPT4Scene，这是一种新颖的VLM训练和推理中的视觉提示范式，有助于建立全局-局部关系，显著提高了室内场景的3D空间理解能力。具体来说，GPT4 ………………………………