ICJAI'24 | DLA：动态层级注意力架构，实现特征图的持续动态刷新与交互

文章预览

前言   论文深入探讨了层级注意力与一般注意力机制之间的区别，并指出现有的层级注意力方法是在静态特征图上实现层间交互的。这些静态层级注意力方法限制了层间上下文特征提取的能力。为了恢复注意力机制的动态上下文表示能力，提出了一种动态层级注意力（DLA）架构。DLA包括双路径，其中前向路径利用一种改进的递归神经网络块用于上下文特征提取，称为动态共享单元（DSU），反向路径使用这些共享的上下文表示更新特征。最后，注意力机制应用于这些动态刷新后的层间特征图。实验结果表明，所提议的DLA架构在图像识别和目标检测任务中优于其他最先进的方法。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 晓飞的算法工程笔记 仅 ………………………………