LLMs 能够生成创新的研究想法吗？——一项针对 100 多位 NLP 研究者的大规模人类研究

文章预览

论文 ：Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers 地址 ：https://arxiv.org/abs/2409.04109 研究背景 研究问题 ：这篇文章探讨了大型语言模型（LLMs）在生成新颖研究想法方面的能力。具体来说，研究问题是 LLMs 是否能够生成与专家人类研究员相当的新颖想法。 研究难点 ：该问题的研究难点包括：评估 LLMs 生成的研究想法的创新性和可行性，招募和评估大量专家研究员，以及控制实验中的混杂变量。 相关工作 ：该问题的研究相关工作包括使用 LLMs 进行代码生成、自动评审生成、相关工作整理、实验结果预测和未来工作推荐等任务。然而，这些工作大多依赖于低成本的评估代理或快速的评估方法，而不是大规模的人类比较研究。 研究方法 这篇论文提出了一个实验设计，用于评估 LLMs 生成的研究想法的创新性，并与专家人类研究 ………………………………