对李飞飞老师空间智能的思考！空间大模型SpatialBot来了！

文章预览

点这里 👇 关注我，记得标星，么么哒～ 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 空间大模型SpatialBot：作为对李飞飞老师空间智能 (Spatial Intelligence)的思考 上交，斯坦福，智源，北大，牛津，东大： 论文标题: SpatialBot: Precise Depth Understanding with Vision Language Models 论文: https://arxiv.org/abs/2406.13642 主页: github.com/BAAI-DCAI/SpatialBot 如何让大模型(MLLM, VLM)理解空间?     作者认为, RGB+Depth可以作为大模型理解空间的途径，但是: 1. 现有模型无法直接理解深度图输入 2. 现有大模型数据集，大多仅用RGB就可以分析、回答。模型不会主动到深度图中索引知识。 因此，作者提出： ………………………………