无编码器架构潜力或被低估，首个无编码器3D多模态LLM大模型来了

文章预览

来源：PaperWeekly ‍‍‍‍‍‍‍ 本文 约2700字 ，建议阅读 10 分钟 作者首次全面研究了无编码器架构在 3D 大型多模态模型中应用的潜力。 ©作者 | 汤轶文 单位 | 上海科技大学、上海AI Lab 研究方向 | 3D视觉，大模型高效迁移 许多近期的研究致力于开发大型多模态模型（LMMs），使 LLMs 能够解读多模态信息，如 2D 图像（LLaVA）和 3D 点云（Point-LLM, PointLLM, ShapeLLM）。主流的 LMM 通常是依赖于强大但计算量大的多模态编码器（例如，2D 的 CLIP 和 3D 的 I2P-MAE）。 虽然这些预训练编码器提供了强大的多模态嵌入，富含预先存在的知识，但它们也带来了挑战，包括无法适应不同的点云分辨率，以及编码器提取的点云特征无法满足大语言模型的语义需求。 因此，作者首次全面研究了无编码器架构在 3D 大型多模态模型中应用的潜力，将 3D 编码器的功能直接整合到 ………………………………