大模型量化精度，FP32、FP16、BF16实践与详解

文章预览

以下 文 章来源于微信公众号：oldpan博客 作者：小潘潘 链接：https://mp.weixin.qq.com/s/95CUl1bGN-fSvmAbH0O-DA 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 模型的量化一直是一个值得讨论的话题，本篇文章对训练LLM以及部署应用时的精度问题进行了一些探讨和实践，相信大家仔细阅读后会对常用的浮点数FP16，FP32，BF16有更加深入的理解。 本篇文章主要对训练LLM以及部署应用时的精度问题进行了一些探讨和实践，读过后应该会对常用的浮点数FP16，FP32，BF16有一个更好的理解~ 浮点数据类型在IEEE 754-2019(2008) [1] 标准中进行了详细的定义，定义了不同精度的浮点数格式，如binary16、binary32和binary64，分别用16位、32位和64位二进制来表示，想要更全方位深入的了解的话，可以点引用查看官方的paper。下面进行一些常用的浮点数介绍。 FP16 FP16也叫做 fl ………………………………