小白看得懂的 Transformer (图解)

文章预览

转自：python数据科学 1.导语 谷歌推出的 BERT 模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了SOTA效果。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。在本文中，我们将研究Transformer模型，理解它的工作原理。 出处： https://blog.csdn.net/longxinchen_ml/article/details/86533005 原作者：Jay Alammar 原链接： https://jalammar.github.io/illustrated-transformer 2.正文开始 Transformer由论文 《Attention is All You Need》 提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一 ………………………………