【CVPR 2025】何恺明新作：9行代码，即插即用DyT，替换传统归一化！

文章预览

朋友们，解读此文，旨在更好地传播学术，促进科技进步。我们对论文内容均给出了作者、单位等信息，如您觉得推文内容对您的学习和科研有帮助，请帮我们点赞、转发、点在看~让更多人看到我们的工作！如果您用到了论文内容或者开源代码，请务必遵守学术道德规范，对原论文进行引用，支持和感谢原作者，促进学术和谐发展！ 谢谢大家！ 一、论文信息   1 论文题目： Transformers without Normalization 中文题目： 无归一化的Transformer 论文链接： https://arxiv.org/pdf/2503.10622 官方github： https://github.com/jiachenzhu/DyT 所属机构： Meta FAIR (原属 Facebook公司 )，纽约大学，麻省理工学院，普林斯顿大学 核心速览： 本文提出了一种名为Dynamic Tanh (DyT)的简单技术，用以替代Transformer中的归一化层，展示了不使用归一化层的Transformer同样可以达到甚至超越使用归一化层 ………………………………