从图形频谱角度重新审视对话中的多模态情感识别

主要观点总结

本文探讨多模态情感识别在对话中的重要性，并提出了一种新的框架GS-MCC，该框架基于图形频谱的方法，通过构建多模态交互图、利用傅里叶图神经网络和对比学习来提高情感识别的能力。文章还介绍了该框架在IEMOCAP和MELD数据集上的实验结果以及其在多模态情感识别中的优势。

关键观点总结

关键观点1: 提出新的框架GS-MCC

该框架旨在提高对话中的多模态情感识别能力，通过捕捉一致性和互补信息来优化情感识别效果。

关键观点2: 多模态交互图构建

通过将不同模态的信息结合在一起，构建节点和边以捕捉语义依赖关系，有效建模对话中情感信息的相互作用和关系。

关键观点3: 傅里叶图神经网络的应用

利用傅里叶变换技术捕捉图中节点间长距离依赖关系，提升图数据的表示能力。

关键观点4: 对比学习的应用

通过对比学习构建自监督信号，促进高频和低频信号之间的一致性与互补性协作，提升情感特征的学习效果。

关键观点5: 实验结果与优势

GS-MCC框架在IEMOCAP和MELD数据集上的实验结果优于现有方法，有效解决了传统图神经网络在长距离依赖学习和特征融合中的不足。

文章预览

本文探讨了多模态情感识别在对话中的重要性，提出了一种新的框架( Graph-Spectrum-based Multimodal Consistency and Complementary，GS-MCC ，该框架基于图形频谱的方法。 GS-MCC 通过滑动窗口构建多模态交互图，有效捕捉对话中的一致性和互补性信息。该框架利用高频和低频信号的对比学习来提升情感识别的能力。通过对 IEMOCAP 和 MELD 两个基准数据集的广泛实验，结果表明， GS-MCC 在情感识别性能上优于现有方法，有效解决了传统图神经网络在长距离依赖学习和特征融合中的不足。 1 GS-MCC框架 GS-MCC （ Graph-Spectrum-based Multimodal Consistency and Complementary ）框架旨在提高对话中的多模态情感识别能力，特别是通过捕捉一致性和互补信息来优化情感识别效果。 · 多模态交互图构建 ： 多模态交互图是通过将不同模态（如文本、音频和视觉）信息结合在一起，构建节点和边 ………………………………