NeurIPS 2024 | 北京脑所、北师大与首都医科大学宣武医院联合开发基于侵入式脑电（单根sEEG电极）的高性能语言解码器

文章预览

近日，北京脑科学与类脑研究所、北京师范大学与首都医科大学宣武医院在机器学习国际顶级会议 NeurIPS: The 38th Annual Conference on Neural Information Processing Systems 上联合发表了题为“ Du-IN: Discrete units-guided mask modeling for decoding speech from Intracranial Neural signals ”的论文。 研究提出了一种语音解码框架Du-IN，通过对特定大脑区域进行离散的密码本引导掩码建模来学习神经表征，并在特定大脑区域中使用单根深度电极实现了最佳解码性能。 研究背景 随着表征学习的快速发展，利用自监督学习或对比学习这类表征学习方法来提高模型表现越来越有吸引力。然而在脑机接口领域，流行的方法通常基于全脑表征预训练的时序模型，忽略了在任务期间不同大脑区域的活动高度不同步。或者基于单通道表征预训练的时空模型，用于睡眠分期、癫痫检测任务等。但对于语 ………………………………