Muon优化器赏析：向量与矩阵有何本质区别？

文章预览

©PaperWeekly 原创 · 作者 |  苏剑林 单位 |  科学空间 研究方向 |  NLP、神经网络 随着 LLM 时代的到来，学术界对于优化器的研究热情似乎有所减退。这主要是因为目前主流的 AdamW 已经能够满足大多数需求，而如果对优化器“大动干戈”，那么需要巨大的验证成本。因此，当前优化器的变化，多数都只是工业界根据自己的训练经验来对 AdamW 打的一些小补丁。 不过，最近推特上一个名为“Muon” [1] 的优化器颇为热闹，它声称比 AdamW 更为高效，且并不只是在 Adam 基础上的“小打小闹”，而是体现了关于向量与矩阵差异的一些值得深思的原理。本文让我们一起赏析一番。 ▲ Muon与AdamW效果对比（来源：推特@Yuchenj_UW） 算法初探 Muon 全称是“ M oment U m O rthogonalized by N ewton-schulz”，它适用于矩阵参数 ，其更新规则是 这里   是矩阵符号函数 [2] ，它并不 ………………………………