模型解释新方向！浙大揭秘LLM隐层之间的知识流动！

文章预览

作者：bhn 论文 ：https://arxiv.org/pdf/2405.17969 - NIPS2024 代码 ：https://github.com/zjunlp/KnowledgeCircuits 本文中： knowledge editing=知识编辑； machine unlearning=遗忘学习； detoxification=祛毒； knowledge circuits=知识回路； 背景 大量的参数赋予了大模型强大的能力的同时也带来了一些缺陷，如幻觉，不安全的行为。由于模型复杂的知识存储机制，这些问题的解决变得十分复杂。 目前的工作进行两个方向的尝试，一种是认为事实以键值对的形式存储在mlp中，在这个基础上人们使用 知识编辑，遗忘学习，祛毒 等方法对模型的mlp层修改，以缓解修复模型的缺陷。 另一种思路认为，知识不是单独的存储在某一区域的，而是由不同的组件共同构成的，本文中称为 知识回路。 这篇论文的工作分为四部分 发现Transformer架构中的知识回路： 解释 知识回路 的概念和知识回路是如何发 ………………………………