清华微软最新力作：用物理学革新Transformer注意力，「大海捞针」精度暴涨30%！

文章预览

以下 文 章来源于微信公众号：极市平台 作者： 极市平台 链接：https://mp.weixin.qq.com/s/upLUoqVDewSeoxjfBKdOXA 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 随着诺贝尔物理学奖颁给了「机器学习之父」Geoffrey Hinton，另一个借鉴物理学概念的模型架构也横空出世——微软清华团队的最新架构Differential Transformer，从注意力模块入手，实现了Transformer的核心能力提升。 随着近些年来NLP领域研究的不断深入，我们逐渐发现，Transformer架构中出现的幻觉问题，以及各种下游任务中的性能不足，都或多或少与注意力缺陷有关。 虽然上下文窗口可以扩展，但是Transformer还是无法真正关注到有价值的信息。 最近，微软研究院和清华大学的研究人员共同提出了一种新的模型架构——Differential Transformer，不仅保留了原始Transformer中的可扩展性，也能让模型更 ………………………………