【源头活水】图解自注意力机制(Self-Attention)

文章预览

“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注 ！ 一、注意力机制和自注意力机制的区别 Attention机制与Self-Attention机制的区别 传统的Attention机制发生在Target的元素和Source中的所有元素之间。 简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中，Attention权值的计算不仅需要Encoder中的隐状态而且还需要Decoder中的隐状态。 Self-Attention： 不是输入语句和输出语句之间的Attention机制，而是输入语句内部元素之间或者输 ………………………………