千卡集群训练新高度！无问芯穹天数智芯携手实现天垓150千卡集群MoE大模型训练性能飞跃，与国际主流并肩｜产业创新动态

文章预览

转载自：无问芯穹 近日，在上海仪电集团的组织下，无问芯穹联合天数智芯在千卡集群的训练优化中取得了突破性的性能提升， 结合无问芯穹自研大模型训练框架能力，双方在天数智芯天垓150千卡集群上成功将70B LLaMA模型训练性能提升至国际领先水平，并将一个千亿级参数的MoE模型性能提升了53.5%。 同时，双方在由512张天数卡与512张另一自主算力卡构成的异构千卡集群训练过程中，借助异构混训并行策略的优化，大幅提升了混训效率， 使整体异构混训集群效率飙升至97.5%， 这是无问芯穹继刷新国际主流算力与自主可控算力混合训练效率纪录后，又一次成功突破了自主算力混训集群效能的极限。 无问芯穹大模型训练引擎 与天垓150合力实现千卡集群性能飞跃 天垓150是天数智芯的通用GPU训练产品，适配各类主流芯片或服务器厂商，能够支持国内外主 ………………………………