媲美OpenAI事实性基准，这个中文评测集让o1-preview刚刚及格

主要观点总结

本文主要介绍了淘天集团算法技术-未来生活实验室团队发布的Chinese SimpleQA数据集，该数据集旨在评估模型在中文领域的事实正确性。文章介绍了数据集的构建过程、评测指标、评测榜单及实验发现。

关键观点总结

关键观点1: Chinese SimpleQA数据集的介绍

数据集是第一个系统性地全面评估模型回答简短事实性问题能力的中文评测集，可以全面探测模型在各个领域的知识水平。数据集具有六个特点，包括专注于中文语言、全面性等。

关键观点2: 数据集的构建过程

构建过程分为自动化构建和质量控制两个阶段。自动化构建阶段包括知识内容提取与过滤、自动生成问答对、自动质量验证等步骤。质量控制阶段则引入了严格的人工验证流程，确保数据集的高质量。

关键观点3: 数据集评测指标和评测榜单

评测方式和指标直接遵循OpenAI的方式，包括回答正确率等指标。同时评估了多个闭源和开源模型，并提供了详细的排名榜单。

关键观点4: 实验发现

实验发现包括更大规模的模型有更好的校准性能、O1提出的推理scaling law在事实类QA上也成立、RAG仍是快速提升模型能力的捷径以及大部分模型都有明显的“对齐税”问题等。

关键观点5: 数据集的应用价值

数据集的应用价值在于帮助开发者深入了解其模型在中文领域的事实正确性，同时为算法研究提供重要基石，促进中文基础模型的成长。

文章预览

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 核心作者包括贺彦程，李世龙，刘佳恒，苏文博。作者团队来自 淘天集团算法技术 - 未来生活实验室团队。为了建设面向未来的生活和消费方式，进一步提升用户体验和商家经营效果，淘天集团集中算力、数据和顶尖的技术人才，成立未来生活实验室。实验室聚焦大模型、多模态等 AI 技术方向，致力于打造大模型相关基础算法、模型能力和各类 AI Native 应用，引领 AI 在生活消费领域的技术创新。 如何解决模型生成幻觉一直是人工智能（AI）领域的一个悬而未解的问题。 ………………………………