中国电信研究院发布“天罡”通用大模型评测榜单

文章预览

当前，人工智能技术的迅速发展赋能了大模型强大的生成能力和表示泛化能力。随着开源大模型与闭源大模型的不断迭代发展，如何有效评估模型能力，并 构建一套标准化、系统化、自动化的评测体系 ，成为了全行业亟待解决的问题。 近日，依托2024年世界人工智能大会发布的中国电信AI模型评测联创基地，中国电信研究院携手上海人工智能实验室、清华大学等产学研机构 发布了全面覆盖“能力-任务-性能-安全”四级的“天罡”大模型评测指标体系，并基于该体系首次发布了“天罡”通用大模型评测榜单 。该榜单重点围绕大模型的能力和安全指标进行评估。模型能力评估涵盖知识百科、语言理解、认知推理、模型幻觉、智能体等多个维度；安全评估重点考察大模型输出生成内容，涵盖意识形态、安全隐私、伦理道德、安全对抗攻击等维度，其中 ………………………………