Duoduo CLIP：有效的3D理解具有多视图图像

文章预览

摘要 我们介绍了 Duoduo CLIP，这是一个用于三维表征学习的模型，它从多视图图像而不是点云中学习形状编码。  选择多视图图像使我们能够利用现成 CLIP 模型中的二维先验知识，从而促进使用三维数据进行微调。  我们的方法不仅显示出比现有的点云方法更好的泛化能力，而且还降低了 GPU 需求和训练时间。  此外，该模型通过跨视图注意力进行了修改，以利用物体多个帧之间的信息，从而进一步提高性能。  值得注意的是，我们的模型对多视图图像的顺序具有置换不变性，并且是姿态无关的。  与当前需要 480 个 A100 小时来训练 10 亿个模型参数的 SOTA 点云方法相比，我们只需要 57 个 A5000 小时和 8700 万个参数。  多视图图像还提供了更大的灵活性，包括能够对具有可变数量图像的对象进行编码，并且性能随着使用更多视图而提升。  相反，基于 ………………………………