长上下文能取代RAG吗？

文章预览

   新智元报道   编辑：alan 【新智元导读】 LLM的上下文长度卷到了恐怖的1M，RAG还有存在的必要吗？近日，来自英伟达的研究人员给出了新的答案。 曾几何时，LLM还是憨憨的。 脑子里的知识比较混乱，同时上下文窗口长度也有限。 检索增强生成（RAG）的出现在很大程度上提升了模型的性能。 然而，LLM很快变得强大，上下文窗口长度也迅速膨胀。 现役的主流大模型，比如GPT-4o、Claude-3.5、Llama3.1、Phi-3和 Mistral-Large2等，都支持128K长的上下文，Gemini-1.5-pro甚至达到了1M的长度。 于是人们不禁要问： 在长上下文LLM时代，RAG还有存在的必要吗？ 这样的疑问是有根据的，之前的一项研究就证明了，长上下文（LC）在答案质量方面始终优于RAG： 论文地址：https://www.arxiv.org/pdf/2407.16833 在这勃勃生机、万物竞发的春天里，RAG当真要失宠了么？ 近日，来自英伟 ………………………………