活动报名｜Transformer²：自适应的大语言模型，SakanaAI

文章预览

报告主题： Transformer²：自适应的大语言模型 报告日期： 03 月04日（本周二）10:30-11:30 报告要点: 自适应大型语言模型（LLMs）旨在解决传统微调方法带来的挑战，传统方法通常计算密集且处理多样化任务的能力有限。我们推出的"Transformer²"是一种创新自适应框架，它能通过选择性调整权重矩阵的奇异成分，实时适应全新任务。在推理过程中采用两步机制：首先由分发系统识别任务特性，然后将通过强化学习训练的特定任务"专家"向量动态混合，为输入的提示词进行针对性行为。与LoRA等方法相比，我们的方法性能更优、参数更少且效率更高。此外Transformer²在不同的大型语言模型架构和模态（包括视觉-语言任务）中都表现出了多功能性，为提高大型语言模型的适应性和特定任务性能提供了可扩展、高效的解决方案，为真正动态、自组织的人工智能系 ………………………………