文章预览
将 ScienceAI 设为 星标 第一时间掌握 新鲜的 AI for Science 资讯 编辑 | 萝卜皮 在处理语言时，大脑会部署专门的计算来从复杂的语言结构中构建含义。基于 Transformer 架构的人工神经网络是自然语言处理的重要工具。 普林斯顿大学的研究人员探讨了 Transformer 模型和人类大脑在语言处理中的功能特殊化问题。 Transformer 通过结构化电路计算整合单词间的上下文信息。不过，当前的研究主要集中于这些电路生成的内部表征（「嵌入」）。 研究人员直接分析电路计算：他们将这些计算解构为功能专门的「transformations」，将跨词语的上下文信息整合在一起。 利用参与者聆听自然故事时获得的功能性 MRI 数据，研究人员验证了这些「transformations」是否可以解释整个皮质语言网络中大脑活动的显著差异。 研究证明，由各个功能专门化的「注意力头」执行的紧急
………………………………
