中科大+蔚来提出 A-VL | 专为LVLM打造的可插拔自适应注意力，降内存+负载，不降性能

文章预览

前言   模型在推理过程中需要消耗大量的资源。自适应注意力技术可以动态地减少计算冗余，从而提高效率。尽管现有的自适应注意力方法显著降低了基于Transformer的语言模型的内存需求，但它们并不适用于LVLMs。 作者观察到LVLMs从远程图像 Token 和局部文本 Token 生成响应，不同的模态有不同的注意力模式。这一观察启发作者 分别管理每个模态的注意力 。具体而言，对于视觉输入，存储可能有用信息的缓存，但 只计算最关键的部分 。对于语言输入，更关注局部信息。基于对视觉语言注意力模式的观察和分析，作者开发了A-VL，这是一款 可插拔 的自适应注意力，专为LVLM推理设计。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 1 简介 近年来，大型视觉语 ………………………………