3D场景的大语言模型：在鲁棒数据训练下的3DLLM新SOTA！

文章预览

论文标题： Robin3D: Improving 3D Large Language Model via Robust Instruction Tuning 论文地址： https://arxiv.org/abs/2410.00255 介绍 多模态大语言模型（Multi-modal Large Language Models, MLLMs）以文本模态为基础，将其它各种模态对齐至语言模型的语义空间，从而实现多模态的理解和对话能力。近来，越来越多的研究聚焦于 3D 大语言模型（3DLLM），旨在实现对 3D 物体以及复杂场景的理解，推理和自由对话。 与 2D MLLMs 所能接触的广泛的多模态数据不同，3DLLMs 的训练数据相对稀少。即便过去有些工作尝试生成更多的多模态指令数据，他们仍然在指令的鲁棒性上存在两点不足： 1）绝大多数 3D 多模态指令数据对是正样本对，缺乏负样本对或者对抗性样本对。模型在这种数据上训练缺乏一定的辨识能力，因为无论被问到什么问题，模型只会输出正面的回答。因此碰到问题与场景无关 ………………………………