战胜100多位NLP研究人员！杨笛一团队最新百页论文：首次统计学上证明，LLM生成的idea新颖性优于人类

文章预览

大型语言模型（LLMs）在各个领域都是一个优秀的助手，广大科研人员也对LLM在加速科学发现方面的潜力充满期待，比如已经有研究提出了能够自主生成和验证新想法的研究智能体。 然而，至今还没有评估结果能够证明LLM系统能够生成新颖的、达到专家水平的想法（idea），更不用说接手完成整个研究流程了。 为了填补这一空白，斯坦福大学的研究人员最近发布了耗时一年完成的新实验，获得了第一个具有统计学意义的结论： LLM生成的想法比人类专家撰写的想法更新颖！ 论文链接： https://arxiv.org/pdf/2409.04109 在论文中，研究人员设计了一个完整的实验，可以评估模型在新研究思路生成方面的能力，同时对可能的干扰因素进行控制，首次将专家级的自然语言处理（NLP）研究人员与LLM创意代智能体进行直接比较。 实验招募了超过100名高水平NLP研究人员 ………………………………