ACL 2024 | 提升大模型持续学习性能，哈工大、度小满提出共享注意力框架SAPT

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文：SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models 论文地址：https://arxiv.org/abs/2401.08295 计算机视觉研究院专栏 Column of Computer Vision Institute 在大模型实际部署落地的过程中，如何赋予大模型持续学习的能力是一个至关重要的挑战。 这使其能够动态适应新的任务并不断获得新的知识。 大模型的持续学习主要面临两个重大挑战，分别是灾难性遗忘和知识迁移。 灾难性遗忘是指模型在学习新任务时，会忘记其已掌握的旧任务。 知识迁移则涉及到如何在学习新任务时有效地应用旧任务的知识来提升新任务学习的效果。 为了有效应对以上难题，哈工大联合度小满推出针对大模型的共享注意力持 ………………………………