视觉 注意力机制——通道注意力、空间注意力、自注意力、交叉注意力

文章预览

向AI转型的程序员都关注公众号 机器学习AI算法工程 在计算机视觉领域，注意力机制（Attention Mechanism）已成为提升模型性能的关键技术之一。注意力机制通过模拟人类视觉的选择性注意力，能够在海量数据中自动聚焦于最相关的信息，从而提高模型的效率和准确性。下面将介绍通道注意力、空间注意力、自注意力和交叉注意力四种类型。 通道注意力 通道注意力是一种专注于卷积神经网络（CNN）中特征图通道（feature map channels）的重要性分配的机制。其主要目的是通过为每个通道分配不同的权重，来强调对任务最有贡献的通道，抑制无关或冗余的通道，从而提升模型的表现。 以SE模块为例： Squeeze：通过全局平均池化（Global Average Pooling, GAP）将特征图HxWxC压缩成1x1xC，即得到每个通道的平均池化后的特征，该特征为一个值。 Excitation：全局特征向量 ………………………………