AgentReview: 利用大模型智能体探究学术出版同行评审机制

主要观点总结

本文介绍了AgentReview，这是一个基于大型语言模型（LLM）的同行评审模拟框架。该框架旨在解决同行评审过程中的多重潜在因素和数据隐私问题，并揭示了社会影响力、利他主义疲劳、群体思维、权威偏见和锚定偏见等社会学理论在同行评审中的作用。文章详细描述了研究背景、研究问题、研究方法、实验设计、结果与分析以及关键问题及回答等。

关键观点总结

关键观点1: 创新点

提出了AGENTREVIEW，首个利用大型语言模型（LLMs）和代理建模来模拟同行评审过程的框架。

关键观点2: 研究背景

同行评审是科学出版的核心环节，但传统方法存在不足，无法充分考虑过程的多变量特性、潜在变量以及隐私问题。

关键观点3: 研究方法

通过集成LLM代理和基于代理的建模来模拟同行评审过程，使用真实会议提交数据，建立基线设置以测量单个变量变化的影响。

关键观点4: 重要发现

揭示了社会影响力、利他主义疲劳、群体思维等社会学理论在同行评审中的作用。

关键观点5: 价值

为未来设计更公平、透明的同行评审机制提供了有价值的见解，并有助于改善学术审稿过程的效率和公正性。

文章预览

标题：AgentReview: Exploring Peer Review Dynamics with LLM Agents arXiv：https://arxiv.org/abs/2406.12708 github网站：https://AgentReview.github.io code: https://github.com/Ahren09/AgentReview 摘要总结 同行评审是科学出版完整性和发展的基础。传统的同行评审分析方法往往依赖对现有同行评审数据的探索和统计，这不足以充分解决过程的多变量特性，无法考虑潜在变量，并且由于数据的敏感性而受到隐私问题的进一步限制。本文介绍了AgentReview，这是第一个基于大型语言模型（LLM）的同行评审模拟框架，能够有效拆解多个潜在因素的影响，并解决隐私问题。我们的研究揭示了重要的洞察，包括由于评审者偏见导致的论文决定变化达37.1%，这得到了社会影响理论、利他主义疲劳和权威偏见等社会学理论的支持。我们相信，这项研究可以为改善同行评审机制的设计提供有价值的见解。 论文 ………………………………