Apple多模态最新工作4M-21：搞定21种模态！刷新多个SOTA！

文章预览

前言   来自洛桑联邦理工学院（ EPFL ）和苹果的研究者联合开发了一个任意到任意模态单一模型，该模型在数十种高度多样化的模态上进行训练，并对大规模多模态数据集和文本语料库进行协同训练。 训练过程中一个关键步骤是对各种模态执行离散 tokenization，无论它们是类似图像的神经网络特征图、向量、实例分割或人体姿态等结构化数据，还是可以表征为文本的数据。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： CVer 仅用于学术分享，若侵权请联系删除 论文地址：https://arxiv.org/pdf/2406.09406 论文主页 https://4m.epfl.ch/ 代码： https://github.com/apple/ml-4m/ 论文标题：4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities 该研究展示了训练单一模型，也能 ………………………………