文章预览
麻省理工学院(MIT) 的研究人员最近提出了测试时训练”(Test-Time Training, TTT) 的新方法,并在抽象推理挑战赛 (ARC) 中取得了突破性进展,其性能达到人类平均水平 ARC挑战赛以其高难度、对泛化能力的严格要求以及与人类推理的紧密联系而闻名,因此,MIT的TTT新方法 在此 benchmark 上的成功具有重要的意义,预示着未来模型推理的新方向 这项研究为何重要? TTT(Test-Time Training)并非MIT独创,在MIT的这篇论文之前就已经存在了, Sun等人2020年的论文"Test-time training for out-of-distribution generalization" 就比较明确地提出了TTT的概念,并将其用于提高模型在分布外泛化 (Out-of-Distribution Generalization) 方面的性能。 他们使用少量未标记的测试数据在测试时对模型进行微调,从而使模型适应新的数据分布 在那之后,也有一些研究探索了类似的想法,例如在测试时进行元
………………………………