大脑如何处理语言？普林斯顿团队对Transformer模型进行分析

文章预览

单击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达 编辑 | 萝卜皮 在处理语言时，大脑会部署专门的计算来从复杂的语言结构中构建含义。基于 Transformer 架构的人工神经网络是自然语言处理的重要工具。 普林斯顿大学的研究人员探讨了 Transformer 模型和人类大脑在语言处理中的功能特殊化问题。 Transformer 通过结构化电路计算整合单词间的上下文信息。不过，当前的研究主要集中于这些电路生成的内部表征（「嵌入」）。 研究人员直接分析电路计算：他们将这些计算解构为功能专门的「transformations」，将跨词语的上下文信息整合在一起。 利用参与者聆听自然故事时获得的功能性 MRI 数据，研究人员验证了这些「transformations」是否可以解释整个皮质语言网络中大脑活动的显著差异。 研究证明，由各个功能专 ………………………………