李飞飞「空间智能」之后，空间大模型SpatialBot，理解通用和具身场景下的空间

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           此前， 李飞飞老师提出了空间智能 (Spatial Intelligence) 这一概念 ，作为回应，来自上交、斯坦福、智源、北大、牛津、东大的研究者提出了 空间大模型 SpatialBot ， 并提出了训练数据 SpatialQA 和测试榜单 SpatialBench， 尝试让多模态大模型在通用场景和具身场景下理解深度、理解空间。SpatialBot系列模型和数据集已经发布在始智AI wisemodel.cn开源社区。 https://wisemodel.cn/models/RussellRobin/SpatialBot-3B 在具身智能的 pick and place 任务中，需要判断机械爪是否碰到了目标物体。如果碰到，则可以合上爪子抓取。然而，在这个 Berkerly UR5 Demonstration Dataset 场景中，即使是 GPT-4o 或人类，都无法从单张 RGB 图像中判断机械爪是否碰到了目标物体，比如借 ………………………………