【深度学习】图解自注意力机制(Self-Attention)

文章预览

一、注意力机制和自注意力机制的区别 Attention机制与Self-Attention机制的区别 传统的Attention机制发生在Target的元素和Source中的所有元素之间。 简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中，Attention权值的计算不仅需要Encoder中的隐状态而且还需要Decoder中的隐状态。 Self-Attention： 不是输入语句和输出语句之间的Attention机制，而是输入语句内部元素之间或者输出语句内部元素之间发生的Attention机制。 例如在Transformer中在计算权重参数时，将文字向量转成对应的KQV，只需要在Source处进行对应的矩阵操作，用不到Target中的信息。 二、引入自注意力机制的目的 神经网络接收的输入是很多大小不一的向量，并且不同向量向量之间有一定的关系，但是实际训练的时候无法充分发挥这些输入之间的关系而导致模型训练结果效果 ………………………………