微软和清华改进Transformer：用降噪耳机原理升级注意力！一作在线答疑

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer2233，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 梦晨 发自 凹非寺 转载自：量子位（QbitAI） Transformer自问世后就大放异彩，但有个小毛病一直没解决： 总爱把注意力放在不相关的内容上，也就是 信噪比低 。 现在微软亚研院、清华团队出手，提出全新改进版Differential Transformer，专治这个老毛病，引起热议。 论文： https://arxiv.org/abs/2410.05258 代码：https://aka.ms/Diff-Transformer 论文中介绍，整体思路类似差分放大电路或降噪耳机，用两个信号的差值来滤除共模噪声。 具体到在语言模型中，如果句子很长 ………………………………