长上下文LLM与 RAG 相遇对于许多长语境 (LLM) 而言，-20241012145652

文章预览

2024-10-12 14:56 本条微博链接 长上下文LLM与 RAG 相遇 对于许多长语境 (LLM) 而言，输出质量会随着段落数量的增加而下降。 看起来性能损失是由于检索到的硬负片造成的。 他们提出了两种改进基于长上下文 LLM 的 RAG 的方法：1）检索重新排序和 RAG 特定的调整以及中间推理以帮助相关性识别。 “我们提出的方法在长上下文 RAG 性能上表现出显著的准确性和稳健性改进。” 我最近看到几篇研究论文试图让基于长上下文 LLM 的 RAG ………………………………