Meta在OCP上展示其最新的开放式AI硬件!

文章预览

点击蓝字 关注我们 Meta 在 2024 年 OCP 全球峰会上展示了其最新的开放式 AI 硬件设计。这些创新包括新的 AI 平台、尖端的开放式机架设计以及先进的网络结构和组件。其目标是促进 AI 基础设施的协作和创新。 AI 已经成为 Meta 为人们和企业提供体验的一部分。随着 Meta 开发和发布先进的 AI 模型，它不断增强其基础设施，以支持这些新兴的 AI 工作负载。 Llama 3.1 405B 是 Meta 最大的 模型，是一个值得注意的例子。 这个密集的转换器有 4050 亿个参数，可以处理多达 128,000 个 token 的上下文窗口。训练这个模型需要在 Meta 的整个训练堆栈中进行大量优化，使用超过 16,000 个 NVIDIA H100 GPU 。在整个 2023 年， Meta 迅速将其训练集群从 1,000 个 GPU 扩展到 16,000 个 GPU ，以支持 AI 工作负载。 目前， Meta 在两个 24000 GPU 集群上训练模型，并预计 AI 训练的计算需求将持续 ………………………………