【深度】通向AGI的钥匙：10万H100超级AI算力集群

文章预览

AI军备竞赛，谁会是最终赢家？ 作者  | 费斌杰 熵简科技CEO 自GPT-4发布以来，全球AI能力的发展势头有放缓的迹象。 但这并不意味着Scaling Law失效，也不是因为训练数据不够，而是结结实实的遇到了算力瓶颈。 具体来说，GPT-4的训练算力约2e25 FLOP，近期发布的几个大模型比如Google的Gemini Ultra、Nvidia Nemotron 340B、以及Meta Llama3 405B背后使用的训练算力大致与GPT-4相当，没有质的提升，因此无法解锁模型的新能力。 为了成为AI时代的造物主，OpenAI/微软、xAI、Meta等科技巨头都在竞相建立一个由10万块H100构成的超级AI算力集群。 要想实现这个目标，光有钱是远远不够的，这里面涉及到能源挑战、网络拓扑结构、可靠性保障、并行方案、机架布局等众多技术难题。 这些技术难题是人类通向AGI路上的阻碍，同时也孕育着巨大的投资机会。 近日SemiAnalysis发布了一 ………………………………