何恺明LeCun联手改造Transformer！9行代码替代归一化层，性能不减还加速

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 来源 |  量子位 何恺明LeCun联手： Transformer不要归一化了 ，论文已入选CVPR2025。 归一化长期以来一直被认为是必不可少的，在现代神经网络中无处不在。 但团队认为可以换用一种非常简单的技术，他们提出 DyT （ Dynamic Tanh) ，直接替代Layer Norm或RMSNorm，性能达到或超过标准Transformer。 DyT模块可以用几行PyTorch代码实现： class   Dy T(nn. Module ):      def   __init__ ( self , num_features, alpha_init_value= 0.5 ):          super ().__init__()          self .alpha = nn. Parameter (torch.ones( 1 ) * alpha_init_value)          self .weight = nn. Parameter ………………………………