科普｜怎么给大模型喂知识?解密知识训练模型背后的秘密

文章预览

《追AI的人》之AI科普系列短视频，将持续用简单清晰的语言向公众解释对于人工智能的普遍疑问，推动社会就人工智能的发展和治理达成共识。 众所周知，大模型给出的答案都是根据数据输出。很多知识是有时间节点的，当新知识更新频繁的时候，大模型并不能保持事实准确性和逻辑一致性。那么我们应该如何给大模型喂新知识呢？通常来说，有四种方法👇 ✅第一种方式： RAG 检索增强生成。 ✅ 第二种方式： SFT 有监督微调。 ✅ 第三种方式： ME 模 型编辑（又名： 知识编辑）。 ✅ 第四种方式： CP 继续预训练。 看了以上四种方法，是不是感觉最后一种方式（ME）“喂知识”的代价最低呢。 在ME领域，我们团队提出了一种检索增强的连续提示学习新方法，叫RECIPE。你要知道，终身模型编辑可是满足LLM持续编辑要求的最具挑战性的任务呢，而我们 ………………………………