英特尔至强处理器在AISBench测试中展现卓越AI大模型推理性能

文章预览

近期，第五代英特尔 ® 至强 ® 可扩展处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试（AISBench）。英特尔成为首批通过AISBench大语言模型（LLM）推理性能测试的企业。 中国电子技术标准化研究院赛西实验室依据国家标准《人工智能服务器系统性能测试规范》（征求意见稿）相关要求，使用AISBench 2.0测试工具，完成了第五代英特尔至强可扩展处理器的AI大模型推理性能和精度测试。测试中，第五代英特尔至强在ChatGLM V2-6B（60亿参数）以及 Llama2-13B（130亿参数）两个模型上均展现出卓越推理性能，能够满足轻量级大语言模型的实时推理要求。 测试结果 此次单机性能测试中，在满足人类正常阅读速度要求（生成延迟小于100毫秒）的情况下，在封闭测试场景中构造数据集，基于第五代英特尔至强的服务器可实现： 在60亿参数的 ………………………………