文章预览
大语言模型的发展让研究人员专注于建立尽可能大的模型。但是其实较小的模型在某些任务中表现会优于较大的模型时，例如：Llama 3-8B在MMLU任务上的表现优于较大的Llama 2-70B ! 这就说明大模型并不是万能的，在一些特定任务中，小模型表现得可能会更出色。所以IBM的研究人员就推出了一个轻量级模型Tiny Time Mixers[1]，并且在M4数据集上优于大型SOTA模型(包括MOIRAI)，并且它还是开源的！ Tiny Time Mixer (TTM) TTM是一个轻量级的，基于mlp的基础TS模型(≤1M参数)，在零样本预测方面表现出色，甚至优于较大的SOTA模型。 TTM非常快：因为它没有注意机制——它只使用完全连接的神经网络层。 TSMixer Foundation: TTM在其架构中利用TSMixer[2]。 丰富的输入:TTM具有多元预测能力，可以接受额外的信息、外生变量和已知的未来输入，增强了其预测的通用性。 快速而强大:使用6
………………………………
