为啥大模型需要量化？？如何量化

文章预览

本文翻译整理自： https://pub.towardsai.net/want-to-learn-quantization-in-the-large-language-model-57f062d2ec17 简单介绍下大模型的为什么需要量化，以及量化的基本操作。 首先，了解 量化 的 是什么 以及 为什么 需要它。 接下来，深入学习 如何 进行 量化 ，并通过一些简单的数学推导来理解。 最后编写一些 PyTorch 代码 ，以对 LLM 权重参数进行量化和反量化。 Let’s unpack all one by one together. 什么是量化，为什么需要它？ 量化 是一种将较大尺寸的模型（如 LLM 或任何深度学习模型）压缩为较小尺寸的方法。量化主要涉及对模型的权重参数和激活值进行量化。让我们通过一个简单的模型大小计算来验证这个说法。 左侧：基础模型大小计算（单位：GB），右侧：量化后的模型大小计算（单位：GB） 在上图中， 基础模型 Llama 3 8B 的大小为 32 GB。经过 Int8 量化后，大小减少到 ………………………………