Pattern Recognition｜同时关注局部和全局信息，利用注意力抓取不同粒度的视觉信息来描述图片

主要观点总结

本文提出了LSTNet，一种用于图像字幕生成的局部敏感Transformer网络。LSTNet通过局部敏感注意力和局部敏感融合两种机制增强局部视觉建模，提升了字幕生成的性能。实验结果显示，LSTNet在多个数据集上超越了现有的最先进模型，证明了其在图像字幕任务中的有效性和泛化能力。

关键观点总结

关键观点1: LSTNet的提出

为了利用网格特征进行图像字幕的局部视觉建模，提出了一种具有两种新颖设计的局部敏感Transformer网络（LSTNet），分别是局部敏感注意力（LSA）和局部敏感融合（LSF）。

关键观点2: LSA的设计目的

LSA用于通过建模每个网格与其邻居之间的关系来进行Transformer中的层内交互，降低字幕过程中局部物体识别的难度。

关键观点3: LSF的设计目的

LSF用于层间信息融合，聚合不同编码器层的的信息，实现跨层语义互补，增强字幕质量。

关键观点4: 实验结果

在MS-COCO基准上进行了大量实验，结果显示，LSTNet在离线和在线测试中都优于许多最先进的字幕模型，并验证了其泛化能力。

关键观点5: 未来工作

未来的工作可以探索如何进一步改进LSTNet的性能，并研究其在其他图像字幕任务中的应用。

文章预览

↑ 点击 蓝字  关注极市平台 作者丨我爱计算机视觉 来源丨我爱计算机视觉 编辑丨极市平台 极市导读   本文 提出了LSTNet，一种新型的局部敏感Transformer网络，用于图像字幕生成，通过局部敏感注意力和局部敏感融合两种机制增强局部视觉建模，提升了字幕生成的性能。实验结果显示，LSTNet在多个数据集上超越了现有的最先进模型，证明了其在图像字幕任务中的有效性和泛化能力。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文研究了利用网格特征进行图像字幕的局部视觉建模，这对生成准确且详细的字幕至关重要。为了实现这一目标，我们提出了一种具有两种新颖设计的局部敏感Transformer网络（LSTNet），分别是局部敏感注意力（LSA）和局部敏感融合（LSF）。 LSA 用于通过建模每个网格与其邻居之间的关系来进行Transformer中的层内交互 ………………………………