主要观点总结
本文介绍了Transformer模型，一个基于自注意力机制的深度学习模型。它利用自注意力机制提高模型训练速度，适用于并行化计算。文章详细解释了Transformer中的编码器和解码器的工作原理，包括自注意力机制、多头注意力机制以及前馈神经网络的作用。同时，介绍了如何将自注意力机制的输出与解码器模块的输出结合进行翻译任务。最后提到了位置编码的问题，以及Transformer在后续模型如BERT和GPT-2中的应用。
关键观点总结
关键观点1: Transformer模型概述
Transformer是一个基于自注意力机制的深度学习模型，适用于并行化计算，在精度和性能上高于RNN循环神经网络。
关键观点2: 编码器和解码器的工作原理
编码器由多个小编码器组成，每个编码器包含自注意力机制和前馈神经网络。解码器同样包含自注意力机制和前馈神经网络，并与编码器的输出结合进行翻译任务。
关键观点3: 自注意力机制
自注意力机制是Transformer中的核心部分，通过对输入序列中的每个词向量计算注意力得分，生成加权输出。
关键观点4: 多头注意力机制
多头注意力机制扩展了模型关注不同位置的能力，并提供了自注意力层多个表示子空间。
关键观点5: 位置编码
Transformer模型并没有考虑输入序列的顺序信息，因此通过添加位置编码来保留词的位置信息。
关键观点6: Transformer的应用
后续的模型如BERT和GPT-2都是基于Transformer的思想。
文章预览
点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达 来源｜知乎—Jason 地址｜https://zhuanlan.zhihu.com/p/82312421 Transformer是一个利用注意力机制来提高模型训练速度的模型。关于注意力机制可以参看这篇文章(https://zhuanlan.zhihu.com/p/52119092)，trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。 那什么是transformer呢？ 你可以简单理解为它是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文。 那么在这个黑盒子里面都有什么呢？ 里面主要有两部分组成：Encoder 和 Decoder 当我输入一个文本的时候，该文
………………………………
