文章预览
来源：多模态机器学习与大模型 本文 约1800字 ，建议阅读 10分钟 本文介绍了三种常见的多模态场景（雷达光学、RGB 仰角和 RGB 深度）中评估 DeCUR，并展示其持续改进，无论架构如何，以及多模态和模态缺失设置。 Decoupling Common and Unique Representations for Multimodal Self-supervised Learning 作者: Yi Wang , Conrad M Albrecht , Nassim Ait Ali Braham, Chenying Liu , Zhitong Xiong , and Xiao Xiang Zhu 作者单位: 德国慕尼黑工业大学，德国航空航天中心遥感技术研究所，慕尼黑机器学习中心 论文链接: https://arxiv.org/pdf/2309.05300 代码链接: https://github.com/zhu-xlab/DeCUR 简介 大多数现有多模态自监督方法仅学习跨模态的通用表示，而忽略模态内训练和模态独特的表示。文中提出了一种简单而有效的多模态自监督学习方法，即解耦通用和独特表示（DeCUR）。通过减少多模态冗余来区分模态间和模内嵌
………………………………
