OpenAI开源最新评测SimpleQA：你的模型是否“知道自己知道什么”？预训练代理和世界模型的扩展定律研究....

文章预览

前言： 看论文就像是一次美食之旅，每一篇论文都是一道不同的菜肴。有些论文会让你大快朵颐，有些论文会让你欲罢不能，而有些论文则会让你咬牙切齿。但是别忘了，只有尝试了各种不同的菜肴，才能成为一个真正的“吃货”哦！ 1. 测量大模型的简短事实性   标题： Measuring short-form factuality in large language models   相关领域： 模型评估   作者： Jason Wei,  Nguyen Karina,  Hyung Won Chung   分析： 本文介绍了SimpleQA，一个用于评估语言模型回答简短、求实问题能力的基准。设计此评估侧重了两个关键属性：一是其挑战性，因为它针对性地与GPT-4回答进行了对抗收集。二是评分的简便性，因为问题被设计成仅存在一个不可争议的答案，因此每条答案会被评为正确、错误或未尝试。一个行为理想的模型会尽可能多地回答问题，同时不试图回答它不确定正 ………………………………