以自注意力机制破局Transformer

文章预览

各位好久不见，这段时间因工作项目加上家中大事，停更一段时间，细节略过不表。 本文针对Transformer进行重新梳理，针对其中要点附图详细讲解，按需取用！ 1. Transformer架构解析 首先放出Transformer对应的架构图： Transformer完整架构 Transformer源自这篇论文“Attention Is All You Need”。本质上而言这个模型其实还是Seq2Seq系列模型，如上图所示，左边使用encoder对输入信息进行编码，然后右边使用decoder得到解码的输出结果。即： Seq2Seq (Transformer) = (Transformer) Encoder + (Transformer) Decoder 至于Transformer为何能取得比LSTM、RNN等模型更好的性能，很大一部分得益于自注意力机制的引入。接下来针对自注意力机制进行详细介绍。 2.自注意力机制详解 2.1 缘起 要介绍自注意力机制，首先还是 ………………………………