NeurIPS 2024 | 浙大提出Chat-Scene，赋予3D大模型精准的物体指代与定位能力

文章预览

背景介绍 多模态大语言模型（Multi-modal Large Language Models, MLLMs）以文本模态为基础，将其它各种模态对齐至语言模型的语义空间，从而实现多模态的理解和对话能力。 近来，随着多模态大语言模型在 3D 领域的迅速发展，3D 大语言模型展现了其在场景理解和交互方面的巨大潜力。然而，现有 3D 大模型在复杂场景中视觉定位能力仍有较大提升空间，尤其是在多物体、多层次场景的理解与应用方面。 为此，我们推出了 Chat-Scene 模型 ，这一模型 通过引入独特的物体标识符机制，提升了 3D 场景中的多物体引用和定位的效率和精确性，旨在为复杂 3D 场景的理解和互动提供一种创新方案。 论文标题： Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers 论文地址： https://arxiv.org/abs/2312.08168 项目代码： https://github.com/ZzZZCHS/Chat-Scene 方法 2.1 核心设计： ………………………………