用60%成本干80%的事，DeepSeek分享沉淀多年的高性能深度学习架构

文章预览

硬件发展速度跟不上 AI 需求，就需要精妙的架构和算法。 根据摩尔定律，计算机的速度平均每两年就会翻一倍，但深度学习的发展速度还要更快，如图 1 和 2 所示。 可以看到，AI 对算力的需求每年都以 10 倍幅度增长，而硬件速度每两年增长 3 倍、DRAM 带宽增长 1.6 倍、互连带宽则仅有 1.4 倍。 而大模型是大数据 + 大计算的产物，其参数量可达千亿乃至万亿规模，需要成千上万台 GPU 才能有效完成训练。 这些实际情况提升了人们对高性能计算（HPC）的需求。 为了获得更多计算资源，人们不得不扩展更多计算节点。这就导致构建 AI 基础设施的成本不断激增。降低这些成本具有很大的好处，构建成本和能耗高效型计算机集群也就自然成了一个热门的研究方向。 近日，DeepSeek（深度求索）发布了一份基于硬件发展的实际情况及其多年实践经验的研究成果 ………………………………