无循环！无卷积！时空预测学习新里程碑PredFormer，Moving MNIST预测均方误差达11.6，比SimVP直降51%

文章预览

关注公众号，发现CV技术之美 时空预测学习是一个拥有广泛应用场景的领域，比如天气预测，交通流预测，降水预测，自动驾驶，人体运动预测等。 提起时空预测，不得不提到经典模型ConvLSTM和最经典的benchmark moving mnist，在ConvLSTM时代，对于Moving MNIST的预测存在肉眼可见的伪影和预测误差。而在最新模型PredFormer中，对Moving MNIST的误差达到肉眼难以分辨的近乎完美的预测结果。 ConvLSTM PredFormer 在以前的时空预测工作中，主要分为两个流派，基于循环（自回归）的模型，以ConvLSTM/PredRNN//E3DLSTM/SwinLSTM/VMRNN等工作为代表；更近年来，研究者提出无需循环的SimVP框架，由CNN Encoder-Decoder结构和一个时间转换器组成，以SimVP/TAU/OpenSTL等工作为代表。 RNN系列模型的 缺陷在于，无法并行化，自回归速度慢，显存占用高，效率低 ；CNN系列模型无需循环提高了效率，得 ………………………………