大脑如何处理语言？普林斯顿团队对Transformer模型进行分析

文章预览

来源：专知 本文 约1700字 ，建议阅读 5 分钟 研究证明，由各个功能专门化的「注意力头」执行的紧急计算，会以不同的方式预测特定皮层区域的大脑活动。这些注意力头沿着与低维皮层空间中的不同层和上下文长度相对应的梯度下降。 在处理语言时，大脑会部署专门的计算来从复杂的语言结构中构建含义。基于 Transformer 架构的人工神经网络是自然语言处理的重要工具。 普林斯顿大学的研究人员探讨了 Transformer 模型和人类大脑在语言处理中的功能特殊化问题。 Transformer 通过结构化电路计算整合单词间的上下文信息。不过，当前的研究主要集中于这些电路生成的内部表征（「嵌入」）。 研究人员直接分析电路计算：他们将这些计算解构为功能专门的「transformations」，将跨词语的上下文信息整合在一起。利用参与者聆听自然故事时获得的功能性 MRI ………………………………