PointLLM：使大型语言模型能够理解点云

文章预览

摘要 大型语言模型 ( LLMs ) 的前所未有的进步对自然语言处理产生了深远的影响，但尚未完全涵盖 3D 理解领域。本文介绍了 PointLLM，这是填补这一空白的初步努力，使LLMs能够理解点云并提供超越 2D 数据的新途径。PointLLM 通过人类指令理解彩色对象点云，并生成上下文适当的响应，说明其对点云和常识的掌握。具体来说，它利用具有强大LLM点云编码器来有效融合几何、外观和语言信息。为了克服点文本指令跟随数据的稀缺性，我们开发了一个自动数据生成管道，收集了超过 730K 个样本和 660K 个不同对象的大规模数据集，这有助于采用 MLLM 中流行的两阶段训练策略发展。此外，我们通过提出两个新颖的基准来解决缺乏适当基准和当前评估指标的局限性：生成 3D 对象分类和 3D 对象描述，这两个基准得到了来自人类和 GPT 分析的新的综合评估指标的支持 ………………………………