RAG生成任务：Base LLM竟然比Instruct LLM高出20%

文章预览

检索增强生成（RAG）将检索阶段与生成阶段结合起来，后者通常由大型语言模型（LLMs）驱动，RAG中的当前常见实践是使用“指导”的LLMs，这真的是最优选择吗？ 对RAG系统中的“ instruct ”模型及其模板与基础版本（ base ）进行了原则性评估。这些“instruct”模型通常经过监督训练来提高遵循指令的能力，并使用最先进技术与人类偏好对齐。使用了两个任务指令来评估模型， 任务指令I 要求模型从未提供的文档中提取答案， 任务指令II 要求模型提供证据来支持其答案。 在TriviaQA上的 任务指令I 下，基础版与指导+模板版之间的比较。该图展示了两个版本的Llama 2 7B模型生成的回答之间的比较：基础版和指导+模板版。每个版本都被赋予了基于提供文档回答同一问题的任务。 基础模型正确地识别出答案为“Burgess Meredith” ，而指导+模板版错误地将答案归 ………………………………