专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

这篇论文提出了一种名为扭矩感知动量(TAM)的新型优化器,它通过-20241231053251

爱可可-爱生活  · 微博  · AI  · 2024-12-31 05:32
    

文章预览

2024-12-31 05:32 本条微博链接 这篇论文提出了一种名为扭矩感知动量(TAM)的新型优化器,它通过动态抑制与先前动量方向不一致的“扭曲”梯度,有效提升了模型的训练稳定性和泛化能力,并在多种任务上表现出了优于传统动量方法的效果,特别是在处理分布偏移和作为预热策略时,展现了其独特的优势。 [LG ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览