专栏名称: 时序人
专注于时间序列领域下的科研、工业干货分享,紧跟AI+等领域的科技前沿
今天看啥  ›  专栏  ›  时序人

ICML 2024 | aLLM4TS:增强时序大模型能力的多 Patch 时序表示

时序人  · 公众号  ·  · 2024-05-22 19:04
    

文章预览

点击 名片 关注并星标 #TSer # 扫下方二维码 ,加入时序人学术星球 参与算法讨论,获取前沿资料 ( 150+ 篇专栏笔记,已有 160+ 同学加入学习) 基于时间序列预测和自然语言预训练目标之间的共性,预训练大语言模型(LLM)从海量文本中学习而来的序列表征能力可以经过合适的训练策略和解码方法转移到时间序列表征中,并应用到各类事件序列分析的下游任务。 本文介绍一篇来自香港中文大学的论文,研究者通过设计合适的基于预测的两阶段训练策略和子序列(patch)级别的共享解码器,提出了  aLLM4TS ,使得可以将LLM强大的序列建模能力泛化在各类时间序列分析任务中,且不受具体预测长度设定的限制,为未来时间序列基础模型的发展提供了可靠的研究方向。 【论文标题】 Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning 【论文地址】 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览