ICLR 2024 | iTRANSFORMER在时间序列预测中刷新SOTA

文章预览

该论文发表于The International Conference on Learning Representations 2024，论文题目为《iTRANSFORMER: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING》。 论文链接： https://arxiv.org/abs/2310.06625 https://github.com/thuml/iTransformer 论文概要 最近，线性预测模型蓬勃发展，导致修改基于Transformer预测器架构的热情降低。这些预测器利用Transformer对时间序列的时间token进行全局依赖性建模，每个token由相同时间戳的多个变体组成。然而，由于性能下降和计算爆炸的问题，Transformer在预测具有较大回溯窗口的序列时面临挑战。此外，每个时间token的嵌入融合了代表潜在延迟事件和不同物理测量的多个变量，这可能无法学习以变量为中心的表征并导致无意义的注意图。 在文章中，作者对 Transformer 组件的职责进行了思考，并在不对基本组件进行任何修改的情况下重组了Transformer架构， ………………………………