评价deepseek v3：又一个相信自己比英伟达懂GPU计算并做到了的团队

文章预览

大模型智能｜分享 来源 | 知乎 作者 | 朱小霖 我觉得 deepseek v3 主要做成了 2 件事： 继 flash attention 之后，又一个相信自己比英伟达懂 GPU 计算，并且做到了的团队； 找到了 pretrain 的一个 10x 变化。 这里前者是指 fp8 训练，后者是指 pretrain batch size 的扩展。 fp8 训练应该算是各个工程团队长久的痛。大家都明白 fp8 的计算峰值是 bf16 的一倍，但是除了 23 年 Yi 团队对外宣传成功做了 fp8 的 pretrain，fp8 这里一直都没有一个相对公开的 recipe，更多地是 “训练极其不稳定” 的流言。而英伟达官方的 transformer engine 似乎也没有解决这个问题，并且如同英伟达的其他开源软件库一样，变得愈发笨重和冗杂。 deepseek 团队有这个勇气和能力直接抛开英伟达提出的 fp8 实践，给出了例如正反向都使用 e4m3，attention 后的 linear 输入的精度需要提升这样的细节，以及独立 ………………………………