多教师特权知识精馏在多模态表达识别中的应用 ！

文章预览

人类的情感是一种复杂的现象，通过面部表情、声音语调、身体语言和生理信号来传达和感知。多模态情感识别系统可以表现良好，因为它们可以从不同的传感器中学习互补和冗余的语义信息。在现实世界的场景中，测试时可能只存在用于训练的部分模态。学习特权信息允许模型利用在训练期间才可用的额外模态的数据。 最先进的特权知识蒸馏（PKD）方法已经被提出，用于从教师模型（结合不同的流行和特权模态）到学生模型（没有访问特权模态）的蒸馏。然而，这样的PKD方法使用点对点匹配，并没有明确捕捉到多模态空间中的关系信息。最近，已经提出了捕获和蒸馏结构信息的方法，并超越了点对点的PKD方法。但是，基于结构相似性的PKD方法主要局限于从单个联合教师表示中学习，这限制了它们的鲁棒性、准确性和从多样多模态源中学习的能力 ………………………………