IdeaBench：科学研究创意生成基准测试大型语言模型

文章预览

全文总结 这篇论文《IdeaBench: Benchmarking Large Language Models for Research Idea Generation》探讨了如何使用大规模语言模型（LLMs）生成研究想法，并提出了一个基准系统IdeaBench来评估这些模型的生成能力。 https://anonymous.4open.science/r/ IdeaBench-2747/ 核心速览 研究背景 研究问题 ： 这篇文章要解决的问题是如何评估大型语言模型（LLMs）在生成研究想法方面的能力。 尽管LLMs在各项任务中取得了最先进的成果，但缺乏一个全面和系统的评估框架来衡量它们在科学研究想法生成中的表现。 研究难点 ： 该问题的研究难点包括： 如何构建一个包含高质量目标论文及其参考文献的数据集，如何设计一个能够模拟人类研究人员生成研究想法的提示模板，以及如何开发一个能够量化生成想法质量的评估框架。 相关工作 ： 该问题的研究相关工作包括基于文献的发现（LBD）方法 ………………………………