Transformer作者初创重磅发布Transformer²！AI模型活了，动态调整自己权重

文章预览

来源：新智元 【导读】 Sakana AI发布了Transformer²新方法，通过奇异值微调和权重自适应策略，提高了LLM的泛化和自适应能力。新方法在文本任务上优于LoRA；即便是从未见过的任务，比如MATH、HumanEval和ARC-Challenge等， 性能 也都取得了提升。 从章鱼通过改变皮肤颜色来融入周围环境，到人类大脑在受伤后重新连接神经网络，无不体现着那句经典的名言——「物竞天择，适者生存」。 然而，对于LLM来说，想要加入哪怕只是一句话的新知识，都必须要再训练一次。 针对这一挑战，来自Sakana AI的研究团队刚刚提出了一种全新的方法——Transformer²。它可以通过实时选择性地调整权重矩阵中的单一组件，使LLM能够适应未见过的任务。 文章链接：https://arxiv.org/pdf/2501.06252 代码链接：https://github.com/SakanaAI/self-adaptive-llms 传统上，LLM的后训练通过一次全面的训练来 ………………………………