CVPR'24 I 西工大提出用于自监督学习的多模态数据表示学习方法！

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 本文转自：多模态机器学习与大模型 论文链接： https://arxiv.org/abs/2311.17597 代码链接： https://github.com/yeerwen/MedCoSS 简介 自监督学习是一种有效的医学图像分析预训练方法。然而，目前的研究大多局限于特定模态的数据预训练，消耗了大量的时间和资源，而没有实现不同模态的通用性。一个简单的解决方案是将所有模态数据组合起来进行联合自监督预训练，但具有一定的实际挑战。首先， 作者在文中揭示了随着模态数量的增加，表示学习中存在冲突 。其次， 提前收集的多模态数据无法覆盖所有现实场景 。作者从持续学习的角度重新考虑通用的自监督学习，提出一种针对多模态医疗数据的持续自监督学习方法，记为MedCoSS。与联合自监督学习不同，MedCoSS 将不同的模态 ………………………………