ECCV' 2024 Oral满分论文｜PointLLM：大语言模型直接理解点云

文章预览

点击下方 卡片 ，关注 「3D视觉工坊」 公众号 选择 星标 ，干货第一时间送达 本次分享我们邀请到了香港中文大学MMLab在读博士 徐润森 为大家详细介绍他的工作： PointLLM 。如果您有相关工作需要分享，欢迎文末联系我们！ PointLLM: Empowering Large Language Models to Understand Point Clouds 论文 ： https://arxiv.org/abs/2308.16911 项目 ： https://runsenxu.com/projects/PointLLM/ 大语言模型(LLMs)在自然语言处理方面展现了深远的影响，但其对3D数据的直接理解尚未得到广泛研究。在这一工作中，我们提出了PointLLM，旨在赋予LLMs理解点云的能力。PointLLM能够在基于人类指令的情况下理解带有颜色的物体点云，并生成遵从用户指令的回答，展示其对点云及常识的理解。PointLLM将点云编码器与LLM相结合，融合了几何、外观和语言信息。我们开发了一个自动化的数据生成管道，收集了一个包 ………………………………