今天看啥  ›  专栏  ›  灵度智能

ICLR 24 | 基于提示词的生成预训练Transformer时间序列预测框架

灵度智能  · 公众号  · 科技自媒体  · 2024-09-27 12:15
    

主要观点总结

文章介绍了过去十年深度学习在时间序列建模方面的显著进展,并提出了一个新的框架TEMPO,它能够学习时间序列表示,并引入了两个基本归纳偏置来分解趋势、季节性和残差成分之间的复杂相互作用以及引入提示设计以促进不同类型时间序列中的分布适应。实验表明,TEMPO在多个时间序列基准数据集上的性能超过了最先进的方法,特别是在零样本设置和多模态输入场景中。

关键观点总结

关键观点1: TEMPO框架的提出

文章提出了一个新颖的框架TEMPO,它可以有效学习时间序列表示。

关键观点2: TEMPO的两个基本归纳偏置

TEMPO利用时间序列任务的两个基本归纳偏置:分解趋势、季节性和残差成分之间的复杂相互作用以及引入提示设计以促进不同类型时间序列中的分布适应。

关键观点3: 实验表现

实验表明,TEMPO在多个时间序列基准数据集上的性能超过了最先进的方法,特别是在零样本设置和多模态输入场景中。

关键观点4: 与现有方法的比较

TEMPO与现有的时间序列预测方法相比,包括基于统计的方法、机器学习方法和深度学习方法,都显示出了显著的性能提升。


文章预览

Content 过去十年中,深度学习在时间序列建模方面取得了显著进展。尽管现有的最佳架构在不同应用和领域中差异很大,但它们均达到了最先进的结果。与此同时,在自然语言处理领域,生成预训练变换器(GPT)通过在各种文本数据集上训练一个通用模型,展示了令人印象深刻的性能。本文提出了一个新颖的框架TEMPO,它可以有效学习时间序列表示。TEMPO专注于利用时间序列任务的两个基本归纳偏置: (1)分解趋势、季节性和残差成分之间的复杂相互作用; (2)引入提示设计,以促进不同类型时间序列中的分布适应。 TEMPO扩展了从多样化领域数据中动态建模现实世界时间现象的能力。实验表明,TEMPO在多个时间序列基准数据集上的零样本设置中的性能超过了最先进的方法。这一性能提升不仅在涉及以前未见过的数据集的场景中观察到,而且在具有多模态 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览