如果构建行业垂直大模型，到底是用RAG还是微调？

文章预览

又来一个RAG：RankRAG，英伟达RAG新思路 发布时间：2024 年 07 月 02 日 RAG RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs 我们提出了一种名为 RankRAG 的创新指令微调框架，该框架使单个 LLM 能够同时进行上下文排序和答案生成，显著提升了 RAG 的性能。通过在训练中融入少量排序数据，RankRAG 不仅超越了专门优化的排序模型，还在生成任务上表现卓越，击败了包括 GPT-4 在内的多个顶尖模型。特别是在知识密集型和生物医学领域的基准测试中，RankRAG 展现了其强大的泛化能力，无需特定领域的微调即可与 GPT-4 媲美。 https:// arxiv.org/abs/2407.0248 5 1. 背景 检索增强生成无疑是当前最热门的LLM研究领域了，但是传统RAG存在一些局限性： • 检索器容量的限制。考虑到处理效率，现有的RAG一般采用稀疏检索（比如 ………………………………