这样图解Transformer应该没人看不懂了吧——多头注意力机制详解

文章预览

这是关于Transformer系列文章的第三篇部分，我们将用自上而下的方式深入探讨Transformer的功能。 在前两篇文章中，我们已经了解了Transformer是什么、它的架构以及工作原理。 没看过的同学可以点击图片进行查看 Transformer图解1—基础与架构 Transformer图解2—工作原理 本文将更进一步，深入剖析Transformer的核心——多头注意力（Multi-head Attention）机制。 对 自注意力、编码器-解码器注意力、注意力分数与掩 码 机制进行 深度解析！ Transformer中注意力的应用方式 Transformer在三个地方使用了注意力机制： 编码器中的自注意力 ：输入序列关注自身 解码器中的自注意力 ：目标序列关注自身 解码器中的编码器-解码器注意力 ：目标序列关注输入序列 注意力输入参数——查询、键、值 注意力层接收三个参数作为输入，即查询（Query）、键（Key）和值（Value），它们 ………………………………