揭秘视觉表征学习中的骨干网络-优化器耦合偏好

文章预览

↑ 点击 蓝字  关注极市平台 作者丨Juanxi Tian 编辑丨极市平台 极市导读   本文探讨了视觉表征学习中骨干网络与优化器之间的耦合偏好现象，即“骨干网络-优化器耦合偏好”（BOCB），揭示了不同网络架构对优化器选择的偏好性及其对模型性能的影响。文章通过实验和分析，为设计低优化器耦合的视觉骨干网络提供了指导，并推荐了通用优化器。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 摘要 本研究深入探讨了视觉领域中骨干网络与优化器之间的偏好关系，揭示了“骨干网络-优化器耦合偏好”（Backbone-Optimizer Coupling Bias, BOCB）的现象。实验观察表明，VGG和ResNet等传统卷积神经网络（CNNs）较偏好SGD系列优化器；而以Vision Transformers（ViTs）和ConvNeXt为代表的现代化深度网络（Modern DNNs），更偏好AdamW为代表的自适应学习率优化器，且表现出 ………………………………