大模型训练开销还能更小！微软推出首个FP4训练框架，训练效果与BF16相当

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 首个FP4精度的大模型训练框架 来了，来自微软研究院！ 在相同超参数的设置下，可以达到 与FP8以及BF16相当的训练效果 。 这意味着 所需的存储和计算资源可以更少 。 用这种方法训练的模型规模最高可达130亿参数规模，训练Tokens数量也达到千亿级别。 而且用的还不是真·FP4，而是通过FP8来模拟，如果采用真的FP4，效果还能进一步提升。 （注：研究开展时，尚未有原生支持FP4的硬件，故作者通过在FP8的TensorCore上模拟实现） 网友评论说，效率更高质量却没什么损失，FP4真的是个game changer。 还有人说，如果这一发现广为人知，恐怕老黄的股价又要跌了。 当然，因低训练成本而成为当红明星的DeepSeek也被网友cue了一下： 在FP8 TensorCore上模拟FP4 如开头所述，在相同超参数的设置下，作者的方法可以达到与BF16的 ………………………………