构建基于CLIP图像特征的数据集和编码模型解释人类高级视觉皮层

文章预览

通过图像和自然语言联合训练以及增大数据集的规模和多样性，高性能的视觉神经网络取得了显著进步。研究人员使用预训练模型CLIP来研究视觉表征，通过构建基于CLIP图像特征的编码模型，可以预测大脑对真实世界图像的反应。相比仅使用图像或文本进行训练的模型，使用CLIP预训练的ResNet50在解释体素响应方差方面达到了79%的准确度。研究人员的研究结果表明，语言反馈和大规模、多样化的数据集对解释高级视觉脑区的反应至关重要。此外，通过模型嵌入和主成分分析的可视化，研究人员发现模型能够捕捉到人类视觉皮层中表示的全局和细粒度语义维度。 视觉神经科学旨在理解研究人员如何通过视觉输入与物理世界进行互动和理解。传统的视觉模型只能解释早期视觉皮层之外的一小部分变化，而深度学习的进展使得新一代计算机视觉模型能够预 ………………………………