耶鲁、剑桥等开发MindLLM，将脑成像直接转换为文本

文章预览

将功能性磁共振成像 (fMRI) 信号解码为文本一直是神经科学界面临的一项重大挑战，它有望推动脑机接口的发展，并加深对大脑机制的了解。然而，现有的方法往往存在预测性能不佳、任务种类有限以及跨受试者泛化能力较差等问题。 针对这一问题，耶鲁大学（Yale University）、达特茅斯学院（Dartmouth College）和剑桥大学（University of Cambridge）的研究人员提出了 MindLLM，一种专为主题无关且用途广泛的 fMRI 到文本解码而设计的模型。 此外，研究人员提出了一种新方法——大脑指令调整 (BIT)，可增强模型从 fMRI 信号中捕获不同语义表示的能力，从而促进更通用的解码。 在全面的 fMRI 到文本基准上的评估中， MindLLM 优于基线，下游任务提高了 12.0%，未知主题泛化提高了 16.4%，新任务适应提高了 25.0%。此外，MindLLM 中的注意力模式为其决策过程提供了可解释 ………………………………