从图形频谱角度重新审视对话中的多模态情感识别

文章预览

本文探讨了多模态情感识别在对话中的重要性，提出了一种新的框架( Graph-Spectrum-based Multimodal Consistency and Complementary，GS-MCC ，该框架基于图形频谱的方法。 GS-MCC 通过滑动窗口构建多模态交互图，有效捕捉对话中的一致性和互补性信息。该框架利用高频和低频信号的对比学习来提升情感识别的能力。通过对 IEMOCAP 和 MELD 两个基准数据集的广泛实验，结果表明， GS-MCC 在情感识别性能上优于现有方法，有效解决了传统图神经网络在长距离依赖学习和特征融合中的不足。 1 GS-MCC框架 GS-MCC （ Graph-Spectrum-based Multimodal Consistency and Complementary ）框架旨在提高对话中的多模态情感识别能力，特别是通过捕捉一致性和互补信息来优化情感识别效果。 · 多模态交互图构建 ： 多模态交互图是通过将不同模态（如文本、音频和视觉）信息结合在一起，构建节点和边 ………………………………