Transformer称霸的原因找到了？OpenAI前核心员工揭开注意力头协同工作机理

文章预览

关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ ComputerVisionGzq 学习群 ｜ 扫码在主页获取加入方式 计算机视觉研究院专栏 这家由 OpenAI 前核心员工组成的 AI 创业公司，正在努力打开 Transformer 的黑箱。 在过去的两年里，人工智能在自然语言处理领域的突破达到了惊人的水平。很多重要的突破都是基于谷歌在 2017 年提出的 Transformer 架构。 但在模型之下，我们仍然不知道 Transformer 对其处理的单词做了什么。从普遍的理解来看，它们能够以某种方式关注多个单词，从而可以立即进行「全局」分析。但这究竟是如何做到的，或者这种说法是否是理解 Transformer 的正确方式，都还不清楚。我们知道「成分」，但却不了解「配方」。 现在，Anthropic 公司的研究人员进行的两项研究试图从根本上探究 Transformer 在处理和生成文本时会做什么。Anthropic 公司成 ………………………………