GMeLLo：结合知识图谱的 LLM 多跳问答技术，效果显著提升

文章预览

1. GMeLLo 提出的背景 1.1 多跳问答 多跳问答的难度往往比较大，因为不仅要追溯事实，还要聚合与串联事实。 事实的来源可以是知识图谱、表格、自由格式文本，或者是这些来源的异构组合。 随着大型语言模型的发展，基于提示的方法搭配可选的检索模块已成为处理多跳问答的常用手段，但以往多数工作侧重于静态信息库。 1.2 知识编辑 知识编辑目前有两种主流方案：修改模型参数和保留模型参数。 1.2.1 修改模型参数 可进一步细分为元学习和定位-编辑方法。 • 元学习方法（meta-learning）：利用超网络来学习编辑大型语言模型所需的调整。 • 定位-然后-编辑（locate-then-edit）范例，首先识别与特定知识对应的参数，然后通过直接更新目标参数来进行修改。 2.2.2 保留模型参数 在保留模型参数的情况下，主要方法是引入额外的参数或外部存储器。 • ………………………………