【深度】通向AGI的钥匙：10万H100超级AI算力集群

文章预览

作者 | 费斌杰 熵简科技CEO 自 GPT-4 发布以来，全球 AI 能力的发展势头有放缓的迹象。 但这并不意味着 Scaling Law 失效，也不是因为训练数据不够，而是结结实实的遇到了算力瓶颈。 具体来说，GPT-4的训练算力约2e25 FLOP，近期发布的几个大模型比如Google的Gemini Ultra、Nvidia Nemotron 340B、以及Meta Llama3 405B背后使用的训练算力大致与GPT-4相当，没有质的提升，因此无法解锁模型的新能力。 为了成为 AI 时代的造物主， OpenAI/ 微软、 xAI 、 Meta 等科技巨头都在竞相建立一个由 10 万块 H100构成 的超级 AI 算力集群。 要想实现这个目标，光有钱是远远不够的，这里面涉及到能源挑战、网络拓扑结构、可靠性保障、并行方案、机架布局等众多技术难题。 这些技术难题是人类通向 AGI 路上的阻碍，同时也孕育着巨大的投资机会。 近日SemiAnalysis发布了一篇重磅深度报告 ………………………………