自注意力机制概述

文章预览

自注意力机制 自注意力机制 （Self-Attention） https://so.csdn.net/so/search?q=Self-Attention =1001.2101.3001.7020 作为注意力机制中的一种，也被称为intra Attention（内部Attention），是大名鼎鼎的Transformer重要组成部分。它允许模型在同一个序列内部进行权重分配，从而关注序列中的不同部分以提取特征。这种机制在处理单一序列时（如文本、图像等数据）非常有效，因为它无需外部的序列或信息来计算注意力权重。 一、注意力机制 传统的注意力机制通常指的是在给定一个输入序列时，模型如何依赖另一个相关的序列来决定注意力的分配。 二、自注意力机制 自注意力机制不依赖于外部的序列，而是在输入序列的内部计算注意力权重，每个元素都是通过关注输入序列的不同部分来生成的。 优点： 灵活性：能够捕捉长距离依赖关系，而不受输入序列长度的限制。并行 ………………………………