千万IP创科普丨时间序列+预训练大模型

文章预览

转自 数据分析及应用 1 摘要 本文从简约主义的视角探讨了时间序列通用预训练大模型的开发问题，并提出了Chronos模型。这是一个用于时间序列的语言建模框架，对时间变化不敏感，并且与任何语言模型架构兼容，只需进行微小的调整。 它通过缩放和量化将时间序列分词为固定词汇表，并使用交叉熵损失训练现有的变换器语言模型架构。 在广泛的基准测试中，Chronos模型在训练语料库中的数据集上显著优于其他方法。与专门针对新数据集进行训练的方法相比，它具有相当的甚至更好的零样本性能。这些结果表明，Chronos模型可以利用来自不同领域的时间序列数据来提高未知预测任务的零样本精度。 图1 Chronos的高层次描述。（左）输入时间序列被缩放和量化以获得一系列令牌。（中）令牌被馈送到语言模型中，该模型可以是编码器-解码器模型或解码 ………………………………