PEFT高效微调技术解密之AdapterFusion（3）

文章预览

paper: https://arxiv.org/pdf/2005.00247v3 书接上回 PEFT高效微调技术解密之Adapter Tuning ，我们介绍了Adapter 在bert上的微调方法，极大的减少了微调的参数，提高了语言模型的微调效率。 接下来我们将介绍另一种微调技术AdapterFusion 一、AdapterFusion解决两了个问题 Adapter Tuning已经在单任务中微调少量参数可以媲美全量微调的效果了。但是在微调时经常会遇到以下两个问题： 多任务不平衡：多任务学习中不同任务的数据量和难度可能不同，导致模型学习效果不均衡。 灾难性遗忘：在学习新任务时，之前学习的任务知识可能会丢失。 因此，AdapterFusion采用了一种全新的两阶段训练方法: 解决多任务知识不平衡：针对不同下游任务，引入不同的Adapter模块，用于学习各自任务的信息。 防止知识灾难性遗忘：将预训练模型参数与不同任务的Adapter参数固定，引入新参数 （ ………………………………