牛津大学最新 | 近400篇总结！畅谈大语言模型与三维世界最新综述~

文章预览

写在前面 & 笔者的个人理解 随着大型语言模型（LLM）的发展，它们与3D空间数据（3D LLM）之间的集成取得了快速进展，为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM处理、理解和生成3D数据的方法。我们强调了LLM的独特优势，如上下文学习、逐步推理、开放词汇能力和广泛的世界知识，强调了它们在嵌入式人工智能（AI）系统中显著推进空间理解和互动的潜力。我们的研究涵盖了从点云到神经辐射场（NeRF）的各种3D数据表示。并分析它们与LLM的集成，用于3D场景理解、字幕、问答和对话等任务，以及用于空间推理、规划和导航的基于LLM的代理。本文还简要回顾了其他将3D和语言相结合的方法，进一步揭示了相关重大进展，但强调了利用3D LLM的全部潜力的新方法的必要性。因此通过这篇论文，我们旨在为未来的研究制定 ………………………………