更快、更强！地平线ViG，基于视觉Mamba的通用视觉主干网络

主要观点总结

本工作提出的ViG方法在高效视觉序列建模领域具有创新性和实际应用价值。通过引入双向门控线性注意力（BiGLA）和二维门控局部注入机制，ViG有效弥补了现有方法的不足，实现了兼具高效性与准确性的视觉表示学习。文章介绍了ViG的背景、方法概述、实验结果和总结。

关键观点总结

关键观点1: 论文被AAAI 2025收录，介绍了一种名为Vision Mamba的线性复杂度视觉序列表征学习方法，其在高清图像上表现出效率优势但在更常见分辨率上略逊于Transformer和CNN。

文章指出将自然语言序列建模中的门控线性注意力模块（Gated Linear Attention, GLA）引入到视觉表征学习中以提高效率，并提出了结合硬件感知的双向门控线性注意力机制（BiGLA）。

关键观点2: BiGLA机制结合了硬件感知设计以提升效率，并通过双向设计减少显存占用和提高硬件运行速度。

文章引入了长短上下文的动态门控制机制以增强对图片二维空间细节的感知，并提出了两种结构变种：ViG和ViG-H。

关键观点3: 实验结果展示了ViG和ViG-H在参数量、精度和速度方面的优势，特别是在高分辨率场景下。

文章总结了ViG方法的重要性和实际应用价值，并展望了其未来在高清视觉信号处理和多模态序列表征学习领域的应用潜力。

文章预览

• 论文链接： https://arxiv.org/abs/2405.18425 • 本工作已被AAAI 2025收录。 Vision Mamba 的成功预示着将视觉表征学习转换为线性复杂度视觉序列表征学习具有巨大的潜力。尽管以Vision Mamba为代表的线性视觉序列表征学习结构在高清图像上展示了显著的效率优势，但在更为常见的分辨率，仍略逊于Transformer和CNN。 为了进一步推进线性复杂度视觉序列表征学习的效率，我们结合当今时代计算设备的硬件特性去设计结构，将自然语言序列建模中对硬件计算更为友好的门控线性注意力模块(Gated Linear Attention, GLA)引入到视觉表征学习中，并且进一步设计参数高效的双向建模，长短上下文的动态门控机制和硬件感知的双向算子设计。通过以上设计，我们提出的ViG模型在各种任务上，精度、参数量、效率均优于主流的Transformer和CNN模型。 背景介绍 Transformer的自注意力（S ………………………………