大模型也有侧脑？揭秘WISE如何带来终生学习新突破

文章预览

作者: bhn 论文：https://arxiv.org/abs/2405.14768 代码：https://github.com/zjunlp/EasyEdit 人类的学习能力是独特而强大的。我们不仅能够在成长过程中不断积累知识，还能够在面对新情况时灵活应用和更新已有的认知。这种终生学习的能力让我们能够适应不断变化的环境，解决新出现的问题。那么，我们如何才能将这种宝贵的能力赋予人工智能系统呢？这篇文章给出了一个答案。 背景 大语言模型虽然取得了成功，但是由于人类不断的产生新的知识，知识也在不断的更新，这要求大模型也需要不断地以一种高效的方式进行更新。然而目前以微调的方式对模型进行更新要求大量的计算资源，这是十分昂贵的。而基于编辑的方式进行的模型更新也具有各种各样的副作用。 这篇文章参考人类学习的方式 —即人类不断的渐进的获取新的知识，然后遗忘旧的知识—设计了 ………………………………