ECCV'24 | Any2Point：赋能多模态大型模型以实现高效的3D理解

文章预览

作者 | Yiwen Tang  编辑 | 自动驾驶之心 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 大模型 』 技术交流群 本文只做学术分享，如有侵权，联系删文 写在前面 最近，大型基础模型已成为备受瞩目的焦点，在广泛的场景中取得了卓越的性能。由于3D数据的稀缺性，人们已经做出了许多努力，将预训练的Transformer模型从视觉领域迁移到3D领域。然而，这种从2D到3D的方法仍然受到限制，因为可能会丢失空间几何信息，并且计算成本高昂。更重要的是，这些框架主要是为2D模型设计的，缺乏通用的任何到3D的范式。这里介绍了Any2Point，这是一种参数高效的方法，用于增强任何模态的大型模型（视觉、语言、音频）以进行3D理解。给定来自任何源模态的冻结Transformer模型，我们提 ………………………………