大模型精度（FP16，FP32，BF16）详解与实践

文章预览

来自  Glan格蓝 链接  https://zhuanlan.zhihu.com/p/657886517 本篇文章主要对训练LLM以及部署应用时的精度问题进行了一些探讨和实践，读过后应该会对常用的浮点数FP16，FP32，BF16有一个更好的理解~ 浮点数据类型在IEEE 754-2019(2008) [1] 标准中进行了详细的定义，定义了不同精度的浮点数格式，如binary16、binary32和binary64，分别用16位、32位和64位二进制来表示，想要更全方位深入的了解的话，可以点引用查看官方的paper。下面进行一些常用的浮点数介绍。 FP16 FP16也叫做 float16，两种叫法是完全一样的，全称是Half-precision floating-point(半精度浮点数)，在IEEE 754标准中是叫做binary16，简单来说是用16位二进制来表示的浮点数，来看一下是怎么表示的(以下图都来源于维基百科 [2] )： 其中： Sign(符号位): 1 位，0表示整数；1表示负数。 Fraction(尾数位)： 10位，简单地来说就 ………………………………