CVPR 2024 | 微软提出LaViT：新的视觉backbone！只需更少的注意力！

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 转载自 ：晓飞的算法工程笔记 Less-Attention Vision Transformer 利用了在多头自注意力（ MHSA ）块中计算的依赖关系，通过重复使用先前 MSA 块的注意力来绕过注意力计算，还额外增加了一个简单的保持对角性的损失函数，旨在促进注意力矩阵在表示标记之间关系方面的预期行为。该架构你能有效地捕捉了跨标记的关联，超越了基线的性能，同时在参数数量和每秒浮点运算操作（ FLOPs ）方面保持了计算效率。 论文: You Only Need Less Attention at Each Stage in Vision Tran ………………………………