ECCV'24｜清华黄高团队提出Agent Attention：无缝集成Softmax和Linear的注意力机制

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 作者丨科技猛兽     编辑丨极市平台 极市导读   本文介绍了一种新型的注意力机制Agent Attention，它结合了Softmax Attention和Linear Attention的优点。Agent Attention通过引入Agent token来平衡Query token与Key-value对之间的关系，提高了Transformer模型的效率和性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 注意力机制 (Attention module) 是 Transformers 中的关键组成部分。虽然全局的注意力机制具有很高的表征能力，但其计算成本较大，限制了其在各种场景下的适用性。本文提出一种新的注意力范式 Agent Attention, 目的在计算效率和表征能力之间取得良好的平衡。具体而言, Agent Attention 表示为四元组 , 在传统的注意力模块中引入了一组额外的 Agent token 。Agent token 首先充当 Query token 的代理来聚合来自 和 ………………………………