一文彻底搞懂Transformer - Why Self-Attention（为什么是自注意力）

文章预览

Transformer 使用自注意力（Self-Attention）机制在序列处理任务中，特别是自然语言处理（NLP）领域 ，变得越来越流行，主要是因为它在 计算复杂度、并行化能力、 长距离依赖的建模能力 等多个关键方面相较于传统的循环神经网络（RNNs）和卷积神经网络（CNNs）具有显著的优势。 一、 计算复杂度 计算复杂度 ： 自注意力机制尽管计算复杂度为O(n^2)，但通过高度优化的矩阵运算库和并行计算能力，在现代硬件上能高效处理序列中任意元素间的关系。 自注意力层在单个序列处理步骤中的计算复杂度与序列长度呈平方关系（O(n^2)），其中n是序列中的元素数量。尽管这看似比RNNs（通常也是O(n)或更高，取决于其变体）和CNNs（通常为O(k*n)，k是卷积核大小）更高，但在实际应用中，自注意力通过高度优化的矩阵运算库（如TensorFlow、PyTorch）可以高效地实现。 自 ………………………………