【Lexicon3D：复杂3D场景理解视觉模型研究】

文章预览

《Lexicon3D: Probing Visual Foundation Models for Complex 3D Scene Understanding》是一篇探讨复杂3D场景理解中视觉编码模型的研究论文。该研究通过系统地评估不同的视觉基础模型在3D场景理解任务中的表现，揭示了各种模型在不同场景下的优势和局限性。研究涵盖了包括基于图像、视频和3D基础模型在内的七种视觉基础编码器，并在四个任务中进行了评估：视觉-语言场景推理、视觉定位、分割和注册，每个任务都聚焦于场景理解的不同方面。 研究的主要发现包括： - DINOv2模型展现出了卓越的性能，显示出强大的泛化能力和灵活性。 - 视频模型在对象级任务中表现出色，这得益于它们能够通过连续的输入帧来区分场景中相同语义的不同实例。 - 预训练的视觉模型在其他与语言相关的评估任务中并不一定表现良好，这挑战了将这类模型作为视觉-语言推理任务默认编 ………………………………