文章预览
越来越多的技术团队开始使用 FP8 进行大模型训练，这主要因为 FP8 有很多技术优势。比如在新一代的 GPU 上，FP8 相对于 BF16 对矩阵乘算子这样的计算密集型算子， NVIDIA TensorCores 能够提供两倍的峰值性能，相对于 TF32 能够提供四倍的加速，从而大大缩短计算密集型算子的计算时间。而对于访存密集型的算子，由于 FP8 所需的数据量更少，可以减轻访存压力，加速这些算子。如果在训练时使用 FP8 精度，可以更方便快速的将 FP8 部署到推理侧，使 FP8 训练可以更容易顺畅地与低精度推理相结合等。 同时，由于 FP8 的动态范围和精度相对于之前使用的 FP16/BF16/FP32 更小，如果使用 FP8 代替原来的数值精度进行训练，技术团队在模型和数据集上可能会遇到 FP8 精度的挑战。 FP8 训练的主要问题及解决思路 通过与很多技术团队交流，我们把 FP8 训练的主要问题
………………………………
