分类中的语义一致性约束：助力模型优化

文章预览

前言 这里介绍一篇笔者在去年ACL上发表的一篇文章，使用了空间语义约束来提高多模态分类的效果，类似的思路笔者也在视频描述等方向进行了尝试，也都取得了不错的效果。这种建模时对特征进行有意义的划分和约束对模型还是很有帮助的，在这里主要分享一下这个思路。 本文选择的方向是多模态情感检测，是一个标准的多模态分类场景。有已有方法主要关注特征融合，忽视了模态异质性带来的挑战。模态异质性可能导致以下问题：1）引入冗余视觉特征；2）特征转移；3）数据标注不一致，增加情感理解的难度。由于第三点和这个任务强相关，不具备通用性，故省略。 为了解决这些问题，我们设计了一个带有稀疏注意力的文本引导融合模块，减少冗余视觉特征的影响。其次，我们通过情感一致性约束任务校准特征转移。大量实验表明我们得改 ………………………………