时序大模型突破十亿参数！新混合专家架构，普林斯顿格里菲斯等机构出品

文章预览

TimeMoE团队 投稿自 凹非寺 量子位 | 公众号 QbitAI 时序大模型，参数规模突破十亿级别。 来自全球多只华人研究团队提出了一种基于混合专家架构（Mixture of Experts, MoE）的时间序列基础模型——Time-MoE。 据了解，该模型首次将时间序列预训练大模型的参数规模推向十亿级别。 Time-MoE模型通过MoE架构的独特优势，将模型参数成功扩展至24亿，不仅显著提升了预测精度，还在降低计算成本的同时超越了众多现有模型，全面达到了SOTA（State of the Art）水平。 与此同时，团队精心整理了预训练数据集Time-300B，这是目前时序领域最大的公开数据集，为各类时序任务提供了通用解决方案。 十亿参数时序大模型 这篇文章主要有以下三点技术突破： 强大的混合专家架构 ：Time-MoE采用稀疏激活机制，在预测任务中仅激活部分网络节点，这不仅确保了高预测精度，还显 ………………………………