【他山之石】北大新作：让大模型来做peer-review结果会怎样？

文章预览

“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注！ PiCO: Peer Review in LLMs based on the Consistency Optimization. 论文： https://arxiv.org/abs/2402.01830 github.com/PKU-YuanGroup/Peer-review-in-LLMs 和人类论文审稿一样，大模型也可以来进行peer-review吗？北大团队受启发于同行评审机制（peer-review），探索了一种全新的开放环境下大模型无监督自动评估方法，叫做“PiCO”。该工作的核心点是想去回答如下问题， 在开放环境下，能否通过无监督的方式来得到比较公平、合理、且更接近人类偏好的大模型能力排序？ 背景 现有的大模型评估方式面临着各式各样的问题，基 ………………………………