Nature子刊连连看8 | 解码语音感知从非侵入性的大脑记录

文章预览

摘要: 从大脑活动中解码语言是医疗保健和神经科学领域期待已久的目标。侵入性设备最近在这方面取得了重大进展:经过颅内记录训练的深度学习算法现在可以开始解码基本的语言特征，如字母、单词和音频谱图。然而，将这种方法扩展到自然语言和非侵入性大脑记录仍然是一个主要挑战。在这里，我们引入了一个经过对比学习训练的模型，用于解码来自一大群健康个体的非侵入性录音的感知语音的自我监督表示。为了评估这种方法，我们整理并整合了四个公共数据集，其中包括175名志愿者在听短篇故事和孤立句子时用脑磁图或脑电图记录的数据。结果表明，我们的模型可以从3秒的脑磁图信号中识别出相应的语音片段，平均准确率高达41%，超过1000种不同的可能性，在最好的参与者中准确率高达80%，这一性能允许解码训练集中没有的单词和短语。 ………………………………