主要观点总结
文章介绍了来自Salesforce、新加坡国立大学、香港科技大学（广州）的研究者共同提出的下一代时序预测基础模型Moirai-MoE。该模型以模型专家化这一全新视角设计，旨在解决时间序列数据的高度异质性问题。文章详细阐述了Moirai-MoE的设计细节，包括时序Token构造、稀疏混合专家Transformer、训练目标等，并通过在多个数据集上的实验验证了其有效性。文章还探讨了时序MoE基础模型的内部工作机制。
关键观点总结
关键观点1: Moirai-MoE的提出背景和重要性
为了解决时间序列数据的高度异质性，研究者从模型专家化这一全新视角出发，提出了Moirai-MoE模型。该模型能够自适应地处理高度多样化的时序数据，为时序预测领域带来重大转型。
关键观点2: Moirai-MoE的主要特点和设计
Moirai-MoE通过采用稀疏混合专家（MoE）结构，以数据驱动的方式实现模型专业化。其核心思想是利用单个输入/输出投影层，将各种时间序列模式的建模委托给Transformer层中的稀疏混合专家。此外，Moirai-MoE还采用了时序Token构造、新型的门控函数和自回归的训练目标来提高模型的性能。
关键观点3: Moirai-MoE的实验结果和优势
Moirai-MoE在多个数据集上进行了广泛评估，并取得了显著的提升。与现有基础模型相比，Moirai-MoE在预测性能上有显著的优势，并且具有更少的激活参数，带来了巨大的推理速度优势。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 本文由 Salesforce、新加坡国立大学、香港科技大学（广州）共同完成。其中，第一作者柳旭是 Salesforce 亚洲研究院实习生、新加坡国立大学计算机学院四年级博士生。通讯作者刘成昊是 Salesforce 亚洲研究院高级科学家。该工作的短文版本已被 NeurIPS 2024 Workshop on Time Series in the Age of Large Models 接收。 时间序列预测是人类理解物理世界变化的重要一环。自去年底以来，时序预测领域正在经历重大转型，从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型
………………………………
