基于自回归移动平均注意力机制的时间序列预测

文章预览

Content 本文提出了一种自回归移动平均（Autoregressive Moving-Average，ARMA）注意力机制，用于时间序列预测（Time Series Forecasting，TSF）。 该机制通过引入ARMA结构，增强了线性注意力模型捕捉时间序列中长期和局部模式的能力。 文章首先表明，适当的标记化和训练方法可以使仅解码器的自回归Transformer模型在TSF任务中达到与最佳基线相当的结果。 接着，文章介绍了ARMA注意力机制，该机制通过间接MA权重生成方法，将MA项整合到现有的AR注意力机制中，同时保持了底层高效注意力模型的时间复杂度和参数规模。 1. 引言 近年来，自回归（AR）仅解码器Transformer模型在自然语言处理（NLP）、计算机视觉（CV）和音频领域被广泛应用。然而，在TSF领域，这种架构的探索相对较少。大多数最新的高性能TSF模型都是仅编码器的Transformer、多层感知机（MLP）或线性模型。 ………………………………