苹果发布高效双EMA梯度优化方法，适配Transformer、Mamba模型

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 在训练深度学习模型时，优化复杂的非凸损失函数是一个非常难的挑战。目前广泛使用的优化器是Adam、AdamW等，主要依赖于EMA（指数移动平均）来累积梯度信息，但这种方法存在一些局限性。 例如， 在训练超大规模数据集和复杂架构模型时，EMA 可能无法有效地捕捉到梯度的变化趋势，可能会忽略掉一些重要的局部信息 ，导致模型在训练过程中陷入局部优解，而无法找到全局最优解。 为了解决这一难题，苹果和瑞士洛桑联邦理工学院的研究人员提出了AdEMAMix 优化器，通过混合了两个EMA一个对近期梯度敏感，另一个能整合更久远梯度的信息实现局部和全局的优化。 论文地址：https://arxiv.org/abs/2409.0 ………………………………