深度探讨视觉表征学习中骨干网络与优化器的耦合偏好

文章预览

论文标题 ：Unveiling the Backbone-Optimizer Coupling Bias in Visual Representation Learning 论文地址 ：https://arxiv.org/abs/2410.06373 源码地址 ：https://github.com/Black-Box-Optimization-Coupling-Bias/BOCB TL;DR 本研究深入探讨了视觉领域中骨干网络与优化器之间的偏好关系，揭示了" 骨干网络-优化器耦合偏好 "（ Backbone-Optimizer Coupling Bias, BOCB ）的现象。 导读 提及骨干网络（Backbone）和优化器（Optimizer），对于任何一位 AIer 来说，这两个词应该都耳熟能详。在Transformer尚未在视觉领域大放异彩的那个时代，构建卷积神经网络（CNNs）时，SGD（随机梯度下降）或Adam（自适应矩估计）几乎是标配的选择。那时候，有一个普遍的经验之谈：如果你想要省事，那就选择Adam，因为它对学习率的敏感性较低，收敛速度也相对较快；但如果你对模型性能有更高的追求，那么SGD会是更好的选择，因为 ………………………………