Salesforce推出Moirai-MoE，新视角设计下一代时序基础模型

文章预览

©PaperWeekly 原创 · 作者 |  刘成昊 单位 |  Salesforce AI Lab 时间序列预测是人类理解物理世界变化的重要一环。自去年底以来，时序预测领域正在经历重大转型，从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型」。目前虽然有不少基础模型已经提出，但如何有效地在高度多样化的时序数据上训练基础模型仍是一个开放问题。 近期，来自 Salesforce、新加坡国立大学、香港科技大学（广州）的研究者以模型专家化这一全新视角作为抓手，设计并提出了下一代时序预测基础模型 Moirai-MoE。 该模型将模型专业化设计在 token 这一细粒度运行，并且以完全自动的数据驱动模式对其赋能。模型性能方面，不同于仅在少量数据集上进行评估的已有时序基础模型，Moirai-MoE 在一共 39 个数据集上进行了广泛评估，充分验证了其优越性。 该工作 ………………………………