Transformer代码完全解读！

文章预览

作者：安晟 & 闫永强，Datawhale成员 本篇正文部分 约 10000字 ，分模块解读并实践了Transformer，建议 收藏阅读 。 2017年谷歌在一篇名为《Attention Is All  You  Need》的论文中,提出了一个基于attention(自注意力机制)结构来处理序列相关的问题的模型，名为Transformer。 Transformer在很多不同nlp任务中获得了成功，例如：文本分类、机器翻译、阅读理解等。在解决这类问题时，Transformer模型摒弃了固有的定式，并没有用任何CNN或者RNN的结构，而是使用了Attention注意力机制，自动捕捉输入序列不同位置处的相对关联，善于处理较长文本，并且该模型可以高度并行地工作，训练速度很快。 本文将按照Transformer的模块进行讲解，每个模块配合 代码+注释+讲解 来介绍，最后会有一个玩具级别的序列预测任务进行实战。 通过本文，希望可以帮助大家，初探Transformer的原理和 ………………………………