超越 Transformer：MetaSeg 网络利用 MetaFormer 实现高效语义分割 !

文章预览

在Transformer之外，重要的是探索如何利用MetaFormer的潜力，这是一种对Transformer性能改进起基础作用的基本结构。以前的研究只利用了底层网络。与以前的研究不同，作者在语义分割任务中更广泛地探索了MetaFormer架构的能力。 作者提出了一种强大的语义分割网络MetaSeg，它利用了从底层到解码器的MetaFormer架构。作者的MetaSeg表明，MetaFormer架构在捕获解码器所需的有用上下文以及底层所需的情况下发挥了重要作用。 此外，最近的分割方法表明，使用基于CNN的 Backbone 网络提取空间信息和基于CNN的解码器提取全局信息比使用基于Transformer的 Backbone 网络和基于CNN的解码器更有效。 这促使作者采用使用MetaFormer模块的基于CNN的 Backbone 网络，并设计作者的基于MetaFormer解码器，它包括一个新颖的自我注意力模块来捕获全局上下文。 为了考虑语义分割中全局上下文 ………………………………