OPENSCHOLAR-基于大模型RAG的科研专家

文章预览

摘要 科学进步取决于研究人员综合不断增长的文献的能力。 大型语言模型 （LM） 能否帮助科学家完成这项任务？ 我们介绍了 OpenScholar ，这是一种专门的检索增强 LM，它通过从 4500 万篇开放获取论文中识别相关段落并综合引文支持的回复来回答科学问题。 为了评估 OpenScholar，我们开发了 ScholarQABench，这是第一个用于文献搜索的大规模多领域基准，包括 2,967 个专家撰写的查询和 208 个长篇答案，涵盖计算机科学、物理学、神经科学和生物医学。 在 ScholarQABench 上，OpenScholar -8B 的正确性比 GPT-4o 高出 5%，比 PaperQA2 高出 7%，尽管它是一个更小的开放模型。虽然 GPT4o 在 78-90% 的情况下会产生引文幻觉，但 OpenScholar 的引文准确性与人类专家相当。OpenScholar 的数据存储、检索器和自反馈推理循环也改进了现成的 LM：例如，OpenScholar -GPT4o 将 GPT-4o 的正确性提高 ………………………………