上交最新时空预测模型PredFormer，纯Transformer架构，多个数据集取得SOTA效果

主要观点总结

本文介绍了PredFormer模型，一个纯ViT模型的时空预测学习框架。该模型无需RNN或CNN，通过精心设计的基于门控Transformer模块，实现了对时空预测的先进效果。PredFormer具有非循环、基于Transformer的设计，简单高效，性能显著优于以前的方法。文章详细描述了模型的设计原理、实现方法和实验效果。

关键观点总结

关键观点1: 背景介绍

时空预测学习的广泛应用场景，包括天气预测、交通流预测、降水预测、自动驾驶、人体运动预测等。经典模型ConvLSTM和最新模型PredFormer的对比，以及RNN和CNN系列模型的优缺点。

关键观点2: PredFormer模型的核心思想

利用Transformer在各种视觉任务中的成功，设计一个可以自动学习数据中的时空依赖的模型，而不需要依赖于归纳偏置。采用了纯Transformer结构的网络，通过门控Transformer模块和GLU作为FFN的设计，实现了对时空预测的高效建模。

关键观点3: PredFormer模型的设计原理和实现方法

模型遵循标准ViT的设计，采用位置编码和Patch Embedding对输入进行预处理。编码器部分由门控Transformer模块堆叠而成，建模全局信息。采用线性层作为解码器进行Patch Recovery。作者对3D Attention进行了全面的分析，并提出了9种PredFormer变体，以适应不同的时空预测任务。

关键观点4: 实验效果和分析

实验部分对比了PredFormer的不同变体在多个数据集上的性能，发现大多数模型都能达到sota。作者还探索了不同的正则化策略，并通过可视化比较和特殊例子证明了PredFormerr模型在预测误差和泛化性上的优越性。

文章预览

作者：yujin 上交最新时空预测模型PredFormer，纯Transformer架构，多个数据集取得SOTA效果 今天给大家介绍一篇时空预测最新模型PredFormer，由上海交大等多所高校发表，采用纯Transformer模型结构，在多个数据集中取得SOTA效果。 1 背景 时空预测学习是一个拥有广泛应用场景的领域，比如天气预测，交通流预测，降水预测，自动驾驶，人体运动预测等。 提起时空预测，不得不提到经典模型ConvLSTM和最经典的benchmark moving mnist，在ConvLSTM时代，对于Moving MNIST的预测存在肉眼可见的伪影和预测误差。而在最新模型PredFormer中，对Moving MNIST的误差达到肉眼难以分辨的近乎完美的预测结果。 在以前的时空预测工作中，主要分为两个流派，基于循环（自回归）的模型，以ConvLSTM/PredRNN//E3DLSTM/SwinLSTM/VMRNN等工作为代表；更近年来，研究者提出无需循环的SimVP框架，由CNN Encode ………………………………