北大新作：让大模型来做peer-review结果会怎样？

文章预览

↑ 点击 蓝字  关注极市平台 作者丨CVer粉丝投稿 来源丨CVer 编辑丨极市平台 极市导读   让大模型来做peer-review结果会怎样？   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 PiCO: Peer Review in LLMs based on the Consistency Optimization. 论文： https://arxiv.org/abs/2402.01830 github.com/PKU-YuanGroup/Peer-review-in-LLMs 和人类论文审稿一样，大模型也可以来进行peer-review吗？北大团队受启发于同行评审机制（peer-review），探索了一种全新的开放环境下大模型无监督自动评估方法，叫做“PiCO”。该工作的核心点是想去回答如下问题， 在开放环境下，能否通过无监督的方式来得到比较公平、合理、且更接近人类偏好的大模型能力排序？ 背景 现有的大模型评估方式面临着各式各样的问题，基于Benchmark的评估方式没法对齐人类实际使用的真实偏好，同时开始有不少文章讨伐这种 ………………………………