大模型微调方法之QLoRA

文章预览

技术总结专栏 本文介绍大模型微调方法中的QLoRA。 QLoRA由华盛顿大学UW NLP小组的成员于2023年提出发，旨在进一步降低微调大模型的微调成本，因为对于上百亿参数量的模型，LoRA微调的成本还是很高。 感兴趣的小伙伴可以去阅读一下原文：https://arxiv.org/pdf/2305.14314 模型介绍 上图为QLoRA的训练过程图，QLoRA更多的是在工程上进行了量化和优化，从图中可知，主要有4个部分的改进： QLORA： 是一种优化的4-bit量化数据类型，专为正态分布权重设计，通过结合低精度存储和中等精度计算来提升模型性能。它使用4-bit存储权重以减少内存使用，并在计算时将权重转换为16-bit的BFloat16格式以保持准确性。这种方法适用于模型加载和训练过程，旨在平衡存储效率和计算精度。 Double Quantization： 是一种模型量化技术，它通过对已经量化过的常量进行二次量化，进一步 ………………………………