ECCV 2024 | 新注意力！清华黄高团队提出Agent Attention：Softmax与线性注意力的整合

主要观点总结

文章介绍了清华大学研究者提出的一种新的注意力范式——代理注意力，旨在解决视觉Transformer模型在计算效率和全局建模能力上的挑战。该注意力机制融合了Softmax注意力和线性注意力的优点，以线性计算复杂度实现全局信息建模，并在分类、检测、分割等任务中表现出优越性。此外，文章还探讨了代理注意力在Stable Diffusion模型中的应用，以及其在高分辨率场景下的表现。

关键观点总结

关键观点1: 代理注意力的提出

清华大学研究者提出了一种新的注意力范式——代理注意力，旨在解决视觉Transformer模型的计算效率和全局建模能力挑战。

关键观点2: 代理注意力的机制

代理注意力通过引入代理向量A，以线性计算复杂度实现全局信息建模，同时融合Softmax注意力和线性注意力的优点。

关键观点3: 代理注意力在分类任务中的应用

基于代理注意力的模型在ImageNet分类任务中取得了显著的性能提升，并且在实际推理速度方面也有显著优势。

关键观点4: 代理注意力在检测与分割任务中的应用

在检测和分割任务中，基于代理注意力的模型也取得了显著的性能提升，这得益于其全局感受野。

关键观点5: 代理注意力在Stable Diffusion模型中的应用

代理注意力可直接应用于Stable Diffusion模型，无需训练即可加速生成并显著提升图片生成质量。

关键观点6: 研究贡献

本文的贡献主要包括提出代理注意力这一新颖、自然、有效且高效的注意力范式，并在分类、检测、分割等任务中验证了其优越性，特别是在高分辨率、长序列的场景下。此外，还为开发大尺度、细粒度、面向实际应用场景的视觉、语言大模型提供了新的方法。

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信：CVer5555，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 转载自：机器之心 | 作者：韩东辰 来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。 近年来，视觉 Transformer 模型得到了极大的发展，相关工作在分类、分割、检测等视觉任务上都取得了很好的效果。然而，将 Transformer 模型应用于视觉领域并不是一件简单的事情。与自然语言不同，视觉图片中的特征数量更多。由于 Softmax 注意力是平方复杂度，直接进行全局自注意力的计算往往会带来过高的计算量。针对这一问题，先前 ………………………………