ICLR2024：自动化所何晖光团队提出大模型引导的多被试神经语义解码

文章预览

在视觉神经信息解码研究中，由于个体差异较大，单被试解码模型难以泛化到其他被试上去。此外，由于数据采集时长的限制，单个被试可获取的数据量有限。为了避免模型训练出现过拟合，模型的复杂度受到限制。现有的多被试解码方法往往难以提取神经响应的全局特征，并且模型参数量会随被试个数线性增长，同时也没有充分刻画不同被试在不同刺激下的神经响应的关系。 为了克服现有方法的局限性，中科院自动化所的周琼怡、杜长德等人提出了一种大模型引导的多被试视觉神经信息语义解码方法，该方法利用视觉刺激在CLIP表征空间的拓扑关系，引导多被试神经表征的学习。相关论文已被国际顶级会议ICLR 2024接受。结果表明，本文提出的模型的分类结果优于单被试解码模型和其他多被试解码模型。一系列可视化分析结果也解释了本方法的有 ………………………………