单GPU训练一天，Transformer在100位数字加法上就达能到99%准确率

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 回复“ Anchor Free ”获取论文集下载 计算机视觉研究院专栏 Column of Computer Vision Institute 乘法和排序也有效。 自 2017 年被提出以来，Transformer 已成为 AI 大模型的主流架构，一直稳站 C 位。 但所有研究者都不得不承认的是，Transformer 在算数任务中表现非常糟糕，尤其是加法，这一缺陷在很大程度上源于 Transformer 无法跟踪大范围数字中每个数字的确切位置。 为了解决这个问题，来自马里兰大学、CMU 等机构的研究者向这一问题发起了挑战，他们通过在每个数字中添加一个嵌入来解决这个问题，该嵌入编码数字相对于开头的位置。该研究发现，只用一天时间在单个 GPU 上训练 20 位数字，就可以达到最新的性能水平，100 位数字 ………………………………