全新注意力范式！清华黄高团队提出Agent Attention：无缝集成Softmax和Linear的注意力机制

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   本文介绍了一种新型的注意力机制Agent Attention，它结合了Softmax Attention和Linear Attention的优点。Agent Attention通过引入Agent token来平衡Query token与Key-value对之间的关系，提高了Transformer模型的效率和性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文目录 1 Agent Attention：集成 Softmax 和 Linear 注意力机制 (来自清华，黄高老师团队) 1 Agent Attention 论文解读 1.1 Agent Attention 集成 Softmax Attention 和 Linear Attention 的优势 1.2 Softmax Attention 和 Linear Attention 计算范式 1.3 Agent Transformer 1.4 感知任务实验结果 1.5 生成任务实验结果 1.6 大感受野和高分辨率 太长不看版 注意力机制 (Attention module) 是 Transformers 中的关键组成部分。虽然全局的注意力机制具有很高的表征能力，但其计算成本较大 ………………………………