专栏名称: FightingCV
一个专注于分享计算机视觉、多模态机器学习方向前沿论文,解答常见科研问题,分享好用科研工具的公众号。努力努力再努力,瑞思拜!
今天看啥  ›  专栏  ›  FightingCV

4分钟训完GPT-3!全新「特供版」H20、L20和L2曝光,性能史诗级缩水!

FightingCV  · 公众号  ·  · 2023-11-11 09:00

文章预览

关注“ FightingCV ”公众号 回复“ AI ”即可获得超100G人工智能的 教程 点击进入→   FightingCV交流群 H100再次在MLPerf中刷新了记录! 英伟达超算NVIDIA Eos在GPT-3模型的基准测试中,只用了3.9分钟就完成了训练。 这比6月份的刷新记录的成绩——10.9分钟,提升了近3倍。 Eos使用了多达10,752个H100和NVIDIA Quantum-2 InfiniBand网络互连。 通过推算,Eos现在可以在短短8天内进行训练,比之前使用512个A100 GPU的先进系统快73倍。 在本轮新的生成式AI测试中,1,024个NVIDIA Hopper架构GPU在2.5分钟内完成了基于Stable Diffusion文本到图像模型的训练基准测试,为这一新工作负载设定了高标准。 与此同时,外媒曝光了英伟达为应对新规而打造的全新「特供版」芯片——H20、L20和L2。 系统扩展效率飙升93% 最新的结果部分是由于使用了有史以来应用于MLPerf基准测试的最多加速器。 10,752 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览