【深度学习】图解 Attention（完整版）！

文章预览

译者：张贤，哈尔滨工程大学，Datawhale原创作者 本文 约4000字 ，建议 阅读11分钟 审稿人：Jepson，Datawhale成员，毕业于中国科学院，目前在腾讯从事推荐算法工作。 序列到序列（seq2seq）模型是一种深度学习模型，在很多任务上都取得了成功，如：机器翻译、文本摘要、图像描述生成。谷歌翻译在 2016 年年末开始使用这种模型。有2篇开创性的论文： Sutskever等2014年发布的： https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf ， Cho等2014年发布的： http://emnlp2014.org/papers/pdf/EMNLP2014179.pdf 都对这些模型进行了解释。 然而，我发现，想要充分理解模型并实现它，需要拆解一系列概念，而这些概念是层层递进的。我认为，如果能够把这些概念进行可视化，会更加容易理解。这就是这篇文章的目标。你需要先了解一些深度学习的知识，才能读完 ………………………………