【半导体】搭建100000 个 H100 的集群，需要哪些芯片？

文章预览

  芯片项目组创始团队招募！◀ 点击查看！  有一部分人认为，自 GPT-4 发布以来，AI 能力一直停滞不前。这通常是正确的，但这只是因为没有人能够大幅增加专用于单个模型的计算量。已发布的每个模型都大致达到 GPT-4 级别（训练计算约 2e25 FLOP）。这是因为专用于这些模型的训练计算也大致处于同一水平。以 Google 的 Gemini Ultra、Nvidia Nemotron 340B 和 Meta LLAMA 3 405B 为例，与 GPT-4 相比，专用的 FLOPS 数量级相似甚至更高，但使用了较差的架构，导致这些模型无法解锁新功能。 尽管 OpenAI 获得了越来越多的计算资源，但他们主要致力于推出更小、训练过度、更便宜的推理模型，例如 GPT-4 Turbo 和 GPT-4o。OpenAI 承认他们最近才刚刚开始训练下一层模型。 人工智能的下一步显然是使用大量视频、图像、音频和文本来训练一个具有数万亿参数的多模态转换 ………………………………