普林斯顿大学提出首个基于MoE的稀疏时序预测大模型，参数量扩展到2.4billion

文章预览

点关注，不迷路，用心整理每一篇算法干货~ 后台留言” 交流 “， 加入圆圆算法交流群~ 后台回复“ 星球 ”加入 圆圆算法知识星球~ （ 已有 850+ 同学加入学习） 今天给大家介绍一篇普林斯顿大学提出的时间序列大模型工作，是首个基于MoE的百万级别参数时间序列大模型，将时序大模型参数量扩展到2.4billion的水平，在多个数据集上取得了显著优于其他时间序列大模型的效果。 论文标题 ：TIME-MOE: BILLION-SCALE TIME SERIES FOUNDATION MODELS WITH MIXTURE OF EXPERTS 下载地址 ：https://arxiv.org/pdf/2409.16040v1 1 背景 时间序列大模型是目前的一个研究热点，很多工作都利用大量的时间序列数据训练专属于时间序列领域的大模型。但是，仍然有很多大模型领域的研究问题在时间序列大模型领域中没有得到深入研究。例如大模型中已经有一些基于MoE的稀疏模型结构取得显著效 ………………………………