CVPR 2024 | 多模态合作学习的新视角：样本级模态的评估与协同

文章预览

不平衡多模态学习问题（imbalanced multimodal learning problem）在近年已经引起了广泛关注。 但在现有方法中，该样本级的模态差异并未被关注，也难以被观测。 如何评估并缓解这种细粒度的样本级模态差异是亟待解决的问题。因此，本文聚焦于多模态合作学习的新视角--样本级的模态评估与协同。 本文 提出了样本级采样方法，结合细粒度模态贡献差异评估的结果，通过针对性采样的策略，促进样本级模态差异的缓解 。 通过针对性采样策略增强对低贡献模态的学习，从何使得模态贡献更加均衡，达到了更好的多模态合作效果。 论文题目： Enhancing Multimodal Cooperation via Sample-level Modality Valuation  论文链接： https://arxiv.org/pdf/2309.06255 代码链接： https://github.com/GeWu-Lab/Valuate-and-Enhance-Multimodal-Cooperation 一、概述：样本级多模态差异的评估与解决 不平衡多模态学 ………………………………