昆仑芯、万卡集群、纯自研：发布

文章预览

近日，百度智能云成功点亮昆仑芯三代万卡集群，这也是国内首个正式点亮的自研万卡集群。 据悉，百度智能云将进一步点亮 3 万卡集群。 万卡集群的建成不仅为百度带来了强大的算力支持，还推动了模型降本的趋势。 过去，多芯混训和激增的故障率等难题，成为万卡集群部署过程中的巨大挑战。 而 2024 年 9 月升级的百度百舸 AI 异构计算平台 4.0（以下简称“百舸平台”），在万卡集群的建设中发挥了至关重要的作用。 首先，突破硬件扩展性瓶颈，如卡间互联的拓扑限制，避免通信带宽成为瓶颈；同时，围绕芯片及集群功耗，基于万卡规模常规方案功耗可达十兆瓦或更高，采用创新性散热方案，从而解决万卡集群的能效与散热问题；完善模型的分布式训练优化，采用高效并行化任务切分策略，训练主流开源模型的集群 MFU 提升至 58%；在提升稳 ………………………………