CodeRAG-Bench：RAG遇到了Coder，哪个模型在RAG的加持下最会写代码？

文章预览

CodeRAG-Bench：RAG遇到了Coder，哪个模型在RAG的加持下最会写代码？ 发布时间：2024 年 06 月 20 日 RAG CodeRAG-Bench: Can Retrieval Augment Code Generation? 检索增强生成（RAG）在文本任务中已显成效，但在代码生成上的潜力却鲜为人知。本研究深入探讨：何时检索能助力代码生成？又面临哪些挑战？构建了 CodeRAG-Bench 评估基准，覆盖基础编程、开放领域及仓库级代码生成三大任务，并整合了来自竞赛、教程、文档、论坛及代码库的五类文档资源。测试了顶尖模型，通过提供单一或多元来源的检索上下文，发现高质量上下文的引入显著提升了代码质量，但仍存在改进空间：检索器在词汇重叠有限时难以获取有用信息，生成器在上下文受限或整合能力不足时表现不佳。我们期待 CodeRAG-Bench 成为推动高级代码生成 RAG 技术发展的有力平台。 https://arxiv.org/abs/2406.14497 1. CodeRA ………………………………