ICML'24 | MoNA：复用其它模态的预训练模型，少样本模态的福音

文章预览

跨模态转移旨在利用大型预训练模型来完成可能不属于预训练数据模态的任务。现有的研究在将经典微调扩展到跨模态场景方面取得了一定的成功，但仍然缺乏对模态差距对转移的影响的理解。在这项工作中，进行了一系列关于转移过程中源表示质量的实验，揭示了更大的模态差距与较少知识重用之间的联系，这意味着转移效果不佳。然后，使用条件分布  将这种差距形式化为不同模态之间的知识不对齐。针对这个问题，论文提出了“模态知识对齐”（ MoNA ）方法，这是一种元学习方法，旨在学习目标数据变换，以减少转移前的模态知识差异。实验证明，论文的方法实现了更好地重用跨模态转移中的源模态知识，从而对现有微调方法的改进。 来源：晓飞的算法工程笔记 公众号，转载请附带名片 论文: Learning Modality Knowledge Alignment for Cross-Modality Tran ………………………………