ACM MM24 | MB2C：学习鲁棒视觉神经表征的多模式双向循环一致性

文章预览

近期，上海海事大学信息工程学院曹磊副教授团队首次提出了一种多模态双向循环一致性（MB2C）方法用于缩小EEG大脑活动中视觉神经表征模态之间的差距，并使具有相似语义不同模态的表征能够分布在潜在空间的同一区域中。通过MB2C与对比学习的结合训练，实现了EEG和图像之间的跨模态对齐，并在ThingsEEG、EEGCVPR40等公开数据集上验证了方法的有效性，取得了与其他基线方法相比更先进的性能。   1      研究背景 从大脑活动数据中解码人类视觉表征是一项具有挑战但至关重要的任务，它有助于理解现实世界和人类视觉系统。然而，从大脑活动记录中解码视觉表征是非常困难的，尤其是脑电图（EEG），尽管它具有良好的时间分辨率但空间精度却较低。现有方法主要通过对比学习将大脑活动数据与相应的刺激响应进行匹配，然而这些方法依赖大量高 ………………………………