普林斯顿大学提出首个基于MoE的稀疏时序预测大模型，参数量扩展到2.4billion

文章预览

今天给大家介绍一篇普林斯顿大学提出的时间序列大模型工作，是首个基于MoE的百万级别参数时间序列大模型，将时序大模型参数量扩展到2.4billion的水平，在多个数据集上取得了显著优于其他时间序列大模型的效果。 论文标题 ：TIME-MOE: BILLION-SCALE TIME SERIES FOUNDATION MODELS WITH MIXTURE OF EXPERTS 下载地址 ：https://arxiv.org/pdf/2409.16040v1 1 背景 时间序列大模型是目前的一个研究热点，很多工作都利用大量的时间序列数据训练专属于时间序列领域的大模型。但是，仍然有很多大模型领域的研究问题在时间序列大模型领域中没有得到深入研究。例如大模型中已经有一些基于MoE的稀疏模型结构取得显著效果，但是在时间序列领域还没有这方面研究。此外，时间序列大模型也面临着灵活性、可扩展性等问题。 为了解决这些问题，本文提出基于MoE的稀疏时间序列大模型 ………………………………