Transformer作者初创重磅发布Transformer²！AI模型活了，动态调整自己权重

文章预览

文章转载于新智元 从章鱼通过改变皮肤颜色来融入周围环境，到人类大脑在受伤后重新连接神经网络，无不体现着那句经典的名言——「物竞天择，适者生存」。 然而，对于LLM来说，想要加入哪怕只是一句话的新知识，都必须要再训练一次。 针对这一挑战，来自Sakana AI的研究团队刚刚提出了一种全新的方法——Transformer²。它可以通过实时选择性地调整权重矩阵中的单一组件，使LLM能够适应未见过的任务。 文章链接：https://arxiv.org/pdf/2501.06252 代码链接：https://github.com/SakanaAI/self-adaptive-llms 传统上，LLM的后训练通过一次全面的训练来优化模型，使其具备广泛的能力。 从简化的角度，这种「one shot」微调框架看起来很理想，但在实际操作中却很难实现。例如，后训练需要大量资源，导致计算成本和训练时间显著增加。此外，当引入更多样化的数据时， ………………………………