RAG微调Llama 3竟超越GPT-4！英伟达GaTech华人学者提出RankRAG框架

文章预览

在需要大量事实知识的文本生成任务中，RAG成为了常用的LLM部署技巧。 但佐治亚理工学院和英伟达最近发表的一篇论文提出——RAG可以不止停留在用于推理的pipeline中，类似的思路完全可以移植到微调阶段，于是有了这个名为RankRAG的框架。 论文地址：https://arxiv.org/abs/2407.02485 他们的思路可以概括为：用微调拓展模型的能力，把原来RAG需要额外模型的检索、排名任务全丢回给LLM自己。 结果发现，不仅数据效率提高了，模型性能也有显著增强，相比今年5月刚提出的ChatQA-1.5系列有显著优势。 在9个通用基准和5个生物医学的知识密集型基准上，RankRAG用Llama 3 8B/70B微调出的模型分别超过了同样基座上ChatQA-1.5的两个微调模型，Llama3-ChatQA-1.5-8B和Llama3-ChatQA-1.5-70B。 ChatQA-1.5项目地址：https://chatqa-project.github.io/ 检索增强生成技术，简称为RAG（Retrieval-Augmented Genera ………………………………