主要观点总结
文章介绍了机器之心AIxiv专栏和Maitrix.org的相关内容，包括其职责、发展历史、合作伙伴以及所开展的开源项目。文章还重点介绍了一种新的LLM基准测试方法——Decentralized Arena，包括其设计理念、优势、实施步骤以及与现有基准测试的区别和联系。最后，文章还介绍了如何创建自定义维度的排名和如何选择自动问题集。
关键观点总结
关键观点1: 机器之心AIxiv专栏的职责是报道学术、技术内容，促进学术交流与传播。
该专栏接收了2000多篇内容，覆盖全球各大高校与企业的顶级实验室。
关键观点2: Maitrix.org是一个由学术机构学者组成的开源组织，致力于发展大语言模型、世界模型、智能体模型的技术。
该组织成功开发了Pandora视频-语言世界模型、LLM Reasoners等。
关键观点3: Decentralized Arena是一种新的LLM基准测试方法，旨在解决现有基准测试的挑战。
它通过利用所有LLM的集体智能进行相互评估和比较，形成了一个去中心化、民主化的系统。该方法具有稳健且无偏、自动化、易于扩展到任何评估维度、快速的新模型排名、透明和可复现等优点。
关键观点4: Decentralized Arena的关键优势包括去中心化的概念、自动化的评估方法、高度相关性、精细的维度分析以及透明度。
研究团队继续添加更多的模型和维度，并欢迎社区贡献和提交。
关键观点5: Decentralized Arena的方法是通过大语言模型的群体智能进行基准测试，包括去中心化的概念、基于二分搜索插入的粗略排名、窗口内精细排名和滑动、收集模型的成对比较结果并使用Bradley-Terry方法估计每个模型的得分。
该研究还介绍了如何构建自定义维度和选择自动问题集。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com Maitrix.org 是由 UC San Diego, John Hopkins University, CMU， MBZUAI 等学术机构学者组成的开源组织，致力于发展大语言模型 (LLM)、世界模型 (World Model)、智能体模型 (Agent Model) 的技术以构建 AI 驱动的现实。 Maitrix.org 此前成功开发了 Pandora 视频-语言世界模型 、LLM Reasoners，以及 MMToM-QA 评测（ ACL 2024 Outstanding Paper Award ）。 研究者们已经并陆续构建了成千上万的大规模语言模型（LLM），这些模型的各项能力（如推理和生成）也越来越强。因此，在多样的应用场景中对其进行性能基准测
………………………………
