AdEMAMix: 一种创新的神经网络优化器

文章预览

前言   本文算法旨在解决当前广泛使用的Adam及其变体（如AdamW）在利用长期梯度信息方面的局限性。研究者们通过巧妙地结合两个不同衰减率的指数移动平均（EMA），设计出了这种新的优化器，以更有效地利用历史梯度信息。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 研究动机 作者们指出，传统的动量优化器通常使用单一EMA来累积过去的梯度，这种方法面临一个两难困境： 较小的衰减率（β）会导致优化器对近期梯度给予较高权重，但快速遗忘旧梯度。 较大的衰减率可以保留更多旧梯度信息，但会减慢对近期梯度的响应。 研究者们发现，即使在数万步训练之后，梯度信息仍然可能保持有用。这一发现促使他们设计了AdEMAMix，以同时利用近期和远期 ………………………………