ECCV'24｜清华黄高团队提出Agent Attention：无缝集成Softmax和Linear的注意力机制

文章预览

作者丨科技猛兽 编辑丨极市平台 极市导读   本文介绍了一种新型的注意力机制Agent Attention，它结合了Softmax Attention和Linear Attention的优点。Agent Attention通过引入Agent token来平衡Query token与Key-value对之间的关系，提高了Transformer模型的效率和性能。 本文目录 1 Agent Attention：集成 Softmax 和 Linear 注意力机制 (来自清华，黄高老师团队) 1 Agent Attention 论文解读 1.1 Agent Attention 集成 Softmax Attention 和 Linear Attention 的优势 1.2 Softmax Attention 和 Linear Attention 计算范式 1.3 Agent Transformer 1.4 感知任务实验结果 1.5 生成任务实验结果 1.6 大感受野和高分辨率 太长不看版 注意力机制 (Attention module) 是 Transformers 中的关键组成部分。虽然全局的注意力机制具有很高的表征能力，但其计算成本较大，限制了其在各种场景下的适用性。本文提出一种新的注意力范式 Agent Attention, 目的 ………………………………