MRAG：一种多头RAG，提升具有显著不同内容的多个文档复杂查询的检索准确性

文章预览

现有的RAG方案 没有专注于需要检索多个具有显著不同内容的文档的查询 ，这类查询经常出现，但挑战在于这些文档的嵌入可能在嵌入空间中距离很远，难以全部检索。 因此，提出一种多头检索增强生成方法（ MRAG：Multi-Head RAG ），它 的关键思想是利用Transformer解码器的多头注意力层的激活，而不仅仅是前馈层，来生成嵌入。 不同的注意力头可以捕获数据的不同方面，因此使用这些激活产生的嵌入能更好地表示文档和查询的各个方面。 MRAG使用最后一个标记的每个注意力头的输出作为一组“ 单方面 ”嵌入。这些嵌入的完整集合形成了“ 多方面 ”嵌入。重要的是，这与仅使用最终解码器层输出的标准RAG相比，不需要额外的空间。 解码器架构的概述 ，以及标准RAG和多头RAG嵌入生成方式的比较。 MRAG（多头RAG）流程的概述 ，由两部分组成： 数据准 ………………………………