文章预览
本文转自微信公众号“新智元”，作者：新智元。 编辑：乔杨 好困 【导读】 MLPerf Inference发布了最新测试结果，英伟达最新的Blackwell架构芯片上场与谷歌、AMD同场竞技，展现出明显的性能提升，甚至刷新了部分任务上的测试纪录。 大语言模型（LLM）推理是一个全栈挑战。 为了实现高吞吐量、低延迟的性能，不仅需要强大的GPU，还需要高带宽的芯片互连技术、高效的加速库以及高度优化的推理引擎。 就在刚刚，MLCommons发布了基准测试套件MLPerf Inference v4.1的最新测试结果，此次发布涵盖了专家混合（MoE）模型架构的首次评测结果，展示了与推理功耗相关的新发现。 MLCommons在最新的AI基准测试中添加了MoE模型 MLPerf是一个流行且得到广泛认可的测试套件，以架构中立、具有代表性和可重复的方式提供机器学习系统的性能基准测试，每年更新两次 本轮测
………………………………
