李沐也看好的方向：多模态预训练！最新成果刷爆SOTA，轻松拿下顶会

文章预览

李沐大神前阵子在上交大的演讲大家关注了没，听完确实认同多模态才是当下的一个趋势。特别是为了应对任务复杂性、数据标注难题等方面的需求，当前我们对 多模态预训练 的研究热情已经空前高涨。 多模态预训练是一种简单高效的方法 ，它可以通过同时处理多种类型的数据，全面提高模型的表征、泛化等各项能力，也不需要我们大量标注数据，因此 无论是在学术界还是工业界，都是香饽饽。 最近这方向一些阶段性的结果已经在各大顶会发表了，比如CVPR 2024的ULIP-2框架，无需标注数据即可刷新SOTA；还有AAAI 2024的VehicleMAE框架，各方面都显著优于其他预训练模型。 如果有同学想发表相关论文冲冲顶会，我这边整理好了 10篇 最新的多模态预训练论文 以供参考，全部都有开源代码，希望能帮大家加快点进度。 扫码添加小享， 回复“ 多模态预训 ………………………………