大模型日报（10月8日 学术篇）

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 信号 ‍ 0 1 Differential Transformer Transformer往往会将注意力过度分配到不相关的语境中。在这项工作中引入了 Diff Transformer，它可以在消除噪音的同时放大对相关语境的注意力。具体来说，差分注意力机制将注意力分数计算为两个独立的软最大注意力图之间的差值。减法消除了噪音，促进了稀疏注意力模式的出现。语言建模的实验结果表明，Diff Transformer 在扩大模型规模和训练代币的 ………………………………