Tiny Time Mixers (TTM)轻量级时间序列基础模型：无需注意力机制，并且在零样本预测方面表现出色

来源：DeepHub IMBA本文约3200字，建议阅读6分钟本文为你介绍一个轻量级基于mlp基础TS模型“TTM”。大语言模型的发展让研究人员专注于建立尽可能大的模型。但是其实较小的模型在某些任务中表现会优于较大的模型时，例如：Llama 3-8B在MMLU任务上的表现优于较大的Llama 2-70B !这就说明大模型并不是万能的，在一些特定任务中，小模型表现得可能会更出色。所以IBM的研究人员就推出了一个轻量级模型Tiny Time Mixers[1]，并且在M4数据集上优于大型SOTA模型(包括MOIRAI)，并且它还是开源的！Tiny Time Mixer (TTM)TTM是一个轻量级的，基于mlp的基础TS模型(≤1M参数)，在零样本预测方面表现出色，甚至优于较大的SOTA模型。TTM非常快：因为它没有注意机制——它只使用完全连接的神经网络层。TSMixer Foundation: TTM在其架构中利用TSMixer[2]。丰富的输入:TTM具有多元预测能力，可以 ………………………………