ICJAI'24 | DLA：动态层级注意力架构，实现特征图的持续动态刷新与交互

文章预览

论文深入探讨了层级注意力与一般注意力机制之间的区别，并指出现有的层级注意力方法是在静态特征图上实现层间交互的。这些静态层级注意力方法限制了层间上下文特征提取的能力。为了恢复注意力机制的动态上下文表示能力，提出了一种动态层级注意力（ DLA ）架构。 DLA 包括双路径，其中前向路径利用一种改进的递归神经网络块用于上下文特征提取，称为动态共享单元（ DSU ），反向路径使用这些共享的上下文表示更新特征。最后，注意力机制应用于这些动态刷新后的层间特征图。实验结果表明，所提议的 DLA 架构在图像识别和目标检测任务中优于其他最先进的方法。 来源：晓飞的算法工程笔记 公众号，转载请附带名片 论文: Strengthening Layer Interaction via Dynamic Layer Attention 论文地址：https://arxiv.org/abs/2406.13392 论文代码：https://github.com/tunantu/Dyn ………………………………