文章预览
随着 OpenAI、Google 和 Meta 等公司推出越来越复杂的人工智能产品，众包排名已成为一种流行的（而且几乎是唯一实用的）确定哪种工具效果最好的方法，而 LMSYS 的 Chatbot Arena 可能已成为最具影响力的实时衡量标准。 虽然大多数机构选择根据一组通用能力基准来衡量他们的人工智能模型，这些基准涵盖解决数学问题、编程挑战或回答一系列大学级学科的多项选择题等任务，但对于评估大型语言模型 (LLM)，如 OpenAI 的 GPT-4o、Meta 的 Llama 3、谷歌的 Gemini 和 Anthropic 的 Claude，并没有行业基准或标准做法。 西雅图艾伦人工智能研究所的高级科学家杰西·道奇表示，即使是数据集、提示和格式等因素的微小差异也会对模型的表现产生巨大影响，当公司选择自己的评估标准时，很难公平地比较 LLM。 由于领先模型在许多常用基准上的得分非常接近，比较LLM的难度
………………………………
