3D场景的大语言模型：在鲁棒数据训练下的3DLLM新SOTA!

文章预览

关注公众号，发现CV技术之美 论文地址：https://arxiv.org/abs/2410.00255 代码将开源：https://github.com/WeitaiKang/Robin3D 介绍 多模态大语言模型（Multi-modal Large Language Models, MLLMs）以文本模态为基础，将其它各种模态对齐至语言模型的语义空间，从而实现多模态的理解和对话能力。近来，越来越多的研究聚焦于3D大语言模型（3DLLM），旨在实现对3D物体以及复杂场景的理解，推理和自由对话。 与2D MLLMs所能接触的广泛的多模态数据不同，3DLLMs的训练数据相对稀少。即便过去有些工作尝试生成更多的多模态指令数据，他们仍然在指令的鲁棒性上存在两点不足： 1）绝大多数3D多模态指令数据对是正样本对，缺乏负样本对或者对抗性样本对。模型在这种数据上训练缺乏一定的辨识能力，因为无论被问到什么问题，模型只会输出正面的回答。因此碰到问题与场景无关时 ………………………………