大模型微调实战（八）-使用INT8/FP4/NF4微调大模型

文章预览

【点击】 加入大模型技术交流群 随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。 因此，该技术值得我们进行深入分析其背后的机理，之前分享了 大模型参数高效微调技术原理综述 的文章。下面给大家分享 大模型参数高效微调技术实战 系列文章，相关代码均放置在GitHub：llm-action。 本文为大模型参数高效微调技术实战的第八篇。本文将结合 bitsandbytes（使用 INT8 量化来加载大模型）和 LoRA 技术来微调Bloom大模型。 量化降低了浮点数据类型的精度，减少了存储模型权重所需的内存。因此，量化会降低推理性能，因为降低精度时会丢失信息。INT8量化只使用四分之一的精度，但它不会降低训 ………………………………