清华大学 Timer：生成式预训练Transformers即大型时间序列模型

文章预览

本文探讨了深度学习在时间序列分析中的应用，特别是针对数据稀缺场景下的大型时间序列模型（LTSM）的开发。文章提出了一个名为Timer的生成预训练变换器模型，该模型通过大规模数据集的预训练，展现出在多种下游任务中的卓越性能。文章指出，尽管深度模型在时间序列分析中取得了显著进展，但在现实世界中数据稀缺的情况下，性能可能会遇到瓶颈。为了改变这种状况，作者提出了Timer，这是一个大规模预训练的时间序列变换器模型，通过统一的时间序列数据集进行预训练，并在多种下游任务中展现出良好的泛化能力。 1. 引言 时间序列分析涵盖了多种关键任务，如预测、填补缺失值和异常检测等。尽管深度时间序列模型取得了显著进展，但在数据稀缺的情况下，其准确性可能会急剧下降。与此同时，大型语言模型通过大规模文本语料库的训 ………………………………