主要观点总结
HAFormer是一种轻量级的语义分割方法，结合了卷积神经网络（CNNs）和Transformer的全局依赖建模能力。它设计了一个分层感知像素激活（HAPE）模块来提取多尺度局部特征，并简化了Transformer中的计算，提出了一个相关加权融合（cwF）模块来整合不同特征表示。HAFormer在Cityscapes和CamVid基准上达到了高性能，同时保持了紧凑的模型尺寸和高效的推理速度。
关键观点总结
关键观点1: HAFormer结合了CNN和Transformer
HAFormer通过CNN的局部感知能力和Transformer的全局建模能力，实现了轻量级的语义分割。
关键观点2: 分层感知像素激活模块（HAPE）
HAPE模块通过不同Kernel大小的卷积和像素激活，提取多尺度局部特征。
关键观点3: 高效的Transformer模块
该模块简化了Transformer中的计算，通过空间缩减线性投影和分割操作策略，降低了计算复杂度。
关键观点4: 相关加权融合（cwF）模块
cwF模块将高相关的CNN和Transformer特征结合，提高了预测准确性。
关键观点5: HAFormer的性能和效率
HAFormer在Cityscapes和CamVid基准上达到了高性能，同时保持了紧凑的模型尺寸和高效的推理速度。
文章预览
在语义分割任务中，卷积神经网络（CNNs）和Transformer都表现出了巨大的成功。人们已经尝试将CNN与Transformer模型集成在一起，以捕捉局部和全局上下文交互。然而，在考虑计算资源限制时，仍有提升的空间。 在本文中，作者介绍了HAFormer模型，该模型结合了CNN的分层特征提取能力与Transformer的全局依赖建模能力，以应对轻量级语义分割挑战。具体来说，作者设计了一个分层感知像素激活（HAPE）模块，用于自适应多尺度局部特征提取。 在全局感知建模过程中，作者设计了一个高效Transformer（ET）模块，简化了传统Transformer中的二次计算。此外，一个相关性加权融合（cwF）模块有选择地合并不同的特征表示，显著提高了预测准确性。 HAFormer以最小的计算开销和紧凑的模型尺寸实现了高性能，在Cityscapes上的mIoU达到了74.2%，在CamVid测试数据集上的mIoU达到了71
………………………………
