【Attention九层塔】注意力机制的九重理解

本文作者：电光幻影炼金术研究生话题Top1，上海交大计算机第一名，高中物理竞赛一等奖，段子手，上海交大计算机国奖，港中文博士在读https://zhuanlan.zhihu.com/p/362366192Attention 现在已经火爆了整个 AI 领域，不管是机器视觉还是自然语言处理，都离不开 Attention、transformer 或者 BERT。下面我效仿 EM九 层塔，提出Attention 九层塔。希望能与大家交流。有更好的想法也欢迎在评论区提出一起讨论。Attention九层塔——理解 Attention 的九层境界目录如下:看山是山——Attention 是一种注意力机制看山看石——数学上看，Attention 是一种广泛应用的加权平均看山看峰——自然语言处理中，Attention is all you need看山看水——BERT 系列大规模无监督学习将Attention推到了新的高度水转山回——计算 ………………………………