专栏名称: AIGC开放社区
专注AIGC(生成式人工智能)领域的专业社区,关注GPT-4、百度文心一言、华为盘古等大语言模型(LLM)的发展应用和落地,以及国内LLM的发展和市场研究,社区秉承共建、共享、开放的理念,提供对社区会员有价值的商业化思路和服务。
今天看啥  ›  专栏  ›  AIGC开放社区

马斯克用10万块H100,搭建全球最强AI训练集群!

AIGC开放社区  · 公众号  ·  · 2024-07-23 06:46

文章预览

专注AIGC领域的专业社区,关注微软 、百度文心一言、讯飞星火等大语言模型(LLM)的发展和 应用 落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注! 7月22日,马斯克在社交平台宣布,在美国孟菲斯凌晨4点20,在单个RDMA结构(远程直接内存访问)上搭建10 万块液冷H100 GPU,这也是目前全球最强的AI训练集群。 马斯克认为,截止到今年12月,从各项指标来看,这对于训练世界最强大的AI模型来说都是一个显著的优势。 对于马斯克搭建全球最强AI训练集群的说法是否过于夸张,就有网友给出了解读。目前还有纯大模型平台使用10万块H100来搭建训练平台。 要知道OpenAI的GPT-4也只用了25,000块,马斯克最新搭建的训练平台可能会用于训练Grok3,所以,如果OpenAI不继续加码硬件设施,其未来发布的GPT-5可能不会超过Grok3。 拥有世界最强的AI训练集群,就有人好 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览