【NeurIPS2024】PACE：将参数高效微调中的泛化与一致性正则化结合起来

文章预览

来源：专知 本文 为论文介绍 ，建议阅读 5 分钟 我们提出了PACE，将参数高效微调的泛化与一致性正则化相结合。 参数高效微调（PEFT）有效地将预训练的视觉变换器适应于下游任务。然而，任务性能的优化往往以微调模型的泛化能力为代价。为了解决这一问题，我们从理论上将训练过程中较小的权重梯度范数与较大的数据集联系起来，进而改善模型的泛化能力。受此启发，我们提出降低梯度范数以增强泛化能力，并使微调模型与预训练模型对齐，以保留来自大规模预训练数据的知识。然而，简单的对齐并不能保证梯度减少，反而可能导致梯度爆炸，增加管理梯度的难度。为了解决这些问题，我们提出了PACE，将参数高效微调的泛化与一致性正则化相结合。我们通过乘法噪声扰动适配器学习到的特征，确保微调模型在不同扰动下对同一样本保持一致 ………………………………