ECCV 2024｜Any2Point：首个多模态3D统一大范式，只需1%的参数量即可超越现有SOTA！

文章预览

↑ 点击 蓝字  关注极市平台 编辑丨极市平台 极市导读   首次提出了3D-多模态大一统范式，将任意模态的预训练大模型，无缝适用到3D领域，并且取得了SOTA的结果！   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 作者单位：上海人工智能实验室，西北工业大学，香港中文大学，北京大学，电信AI 代码链接：https://github.com/Ivan-Tang-3D/Any2Point 论文链接：https://arxiv.org/pdf/2404.07989.pdf 中稿会议：ECCV 2024 目前主要设计将2D预训练模型应用到3D领域，而对于不同模态迁移到3D的通用方法却相对缺乏。在这篇文章中，我们提出了一种名为Any2Point的高效参数微调框架，该框架克服了现有的空间几何损失和计算成本高的问题。它允许各种模态（包括视觉、语言和音频）的大型模型进行3D理解，并且只需使用原模型参数量的1%便能在后续任务中达到超越现有最佳 ………………………………