Transformer的核心理解起来也不难，但为什么这么强呢？

文章预览

‍ 作者 | 摘星狐狸  编辑 | 自动驾驶之心 原文链接：https://www.zhihu.com/question/580810624/answer/3323146786 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 Transformer 』 技术交流群 本文只做学术分享，如有侵权，联系删文 Transformer的强大在于它的设计。 高票答案已经详细讲解了Transformer在长距离依赖建模方面的能力，我就试着从设计方面补充一下“Transformer能够work很好”的其他几个原因吧。抛砖引玉，大家轻拍。 并行计算 + 强大的表达与泛化能力 传统的循环神经网络（RNN）在处理序列数据时需要按顺序逐步计算，无法并行。而Transformer可以做到”同时计算所有位置的输出”！它是怎样做到的呢？ 上图是论文中 Transformer 的内部结构图，左侧为 Encoder block，右侧为 Decoder block。 首 ………………………………