人人都能用的创新点：魔改Transformer！

文章预览

Transformer目前已经成为人工智能领域的主流模型，应用非常广泛。然而Transformer中注意力机制计算代价较高，随着序列长度的增加，这个计算量还会持续上升。 为了解决这个问题，业内出现了许多Transformer的魔改工作，以优化Transformer的运行效率。我这次就给大家分享 9个 对Transformer模型进行效率优化的改进方案 ，以方便大家更高效地使用模型，寻找论文创新点。 这些方法主要涉及4个方向：稀疏注意力机制、Transformer处理长文本、Transformer运行提效以及卷积Attention，原文及源码都已整理，方便各位同学复现。 扫码添加小享， 回复“ 魔改 ” 免费获取 全部论文+开源代码 稀疏注意力机制 Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting 方法简述： 时间序列预测是许多领域中的重要问题，包括太阳能发电厂能源输出、电力消 ………………………………