LeReT：利用多跳检索与强化学习克服大模型“幻觉”

文章预览

当前，使用 LLM 问答类应用时，最让人困扰的就是无法知道它的回答是否真实可靠，为了避免“掉坑”，在对于一些很严谨的问题上，用户更愿意使用传统搜索。今天，我们要介绍一种名为 LeReT（Learning to Retrieve by Trying）的技术，它通过强化学习显著提升大型语言模型（LLM）的检索能力，克服“幻觉”，让 AI 的回答更加靠谱。 什么是 LeReT？ LeReT [1] 是一个基于强化学习的框架，旨在增强 LLM 的检索能力，使其生成的答案更加可靠。通过将答案建立在人类生成和验证的数据之上，LeReT 成功地将检索准确率提高了 29%，下游生成评估提升了 17%。简单来说，其原理就是通过不断尝试和优化查询，使 LLM 能够更准确地检索到相关信息，从而减少幻觉现象。 该框架具有高度的灵活性， 它 将检索视为一个黑盒，这意味着通用算法适用于任何工具和奖励函数。 ………………………………