干货总结！图解神经机器NMT中注意力机制

点击 机器学习算法与Python学习 ，选择加星标精彩内容不迷路选自 TowardsDataScience，作者：Raimi Karim机器之心整理NMT 的最初开拓性研究来自 Kalchbrenner 和 Blunsom (2013)、Sutskever 等人 (2014) 和 Cho. 等人 (2014b) 这三篇论文，其中我们较为熟悉的框架是 Sutskever 等人论文提出的序列到序列（seq2seq）学习。本文基于 seq2seq 框架阐述如何构建注意力。图 0.1：seq2seq，输入序列长度为 4。在 seq2seq 中，初步设想是让两个循环神经网络（RNN）构成编码器-解码器架构：编码器逐个读取输入词，获得固定维度的向量表示，然后另一个 RNN（解码器）基于这些输入逐个提取输出词。图 0.2：seq2seq，输入序列长度为 64。seq2seq 的问题在于，解码器从编码器接收的唯一信息是「最后一个编码器隐藏状态 ………………………………