Pattern Recognition | 同时关注局部和全局信息，利用注意力抓取不同粒度的视觉信息来描述图片

文章预览

关注公众号，发现CV技术之美 本文研究了利用网格特征进行图像字幕的局部视觉建模，这对生成准确且详细的字幕至关重要。为了实现这一目标，我们提出了一种具有两种新颖设计的局部敏感Transformer网络（LSTNet），分别是局部敏感注意力（LSA）和局部敏感融合（LSF）。 LSA 用于通过建模每个网格与其邻居之间的关系来进行Transformer中的层内交互。它降低了字幕过程中局部物体识别的难度。LSF 用于层间信息融合，它聚合了不同编码器层的的信息，以实现跨层语义互补。 凭借这两种新颖的设计，所提出的 LSTNet 能够对网格特征的局部视觉信息进行建模，以提高字幕质量。为了验证 LSTNet，我们在竞争性 MS-COCO 基准上进行了大量实验。 实验结果表明，LSTNet 不仅能够进行局部视觉建模，而且在离线和在线测试中都优于许多最先进的字幕模型，例如 134.8 CIDEr ………………………………