一文讲明白大模型显存占用（只考虑单卡）

主要观点总结

本文主要介绍了大模型在单卡训练或推理时的显存占用情况，围绕数据精度、全参训练和推理的显存分析、Lora和Qlora的显存分析进行了详细阐述。通过具体的例子和计算，解释了显存的主要占用部分和计算方法，以及如何通过优化数据精度、使用混合精度训练、Lora和Qlora等方法来减少显存占用。

关键观点总结

关键观点1: 数据精度对显存的影响

数据精度决定了数据存储的方式，不同的精度类型会影响显存的占用。通过了解数据精度的计算方式，可以更好地理解显存的占用情况。

关键观点2: 全参训练和推理的显存分析

在训练和推理过程中，显存主要被用在模型权重、梯度、优化器和激活值等四个模块上。了解这些模块的显存占用情况，可以帮助我们更好地优化模型。

关键观点3: Lora方法的显存分析

Lora是一种在大模型微调中广泛应用的参数效率优化方法。通过了解Lora方法的显存占用情况，可以更好地理解其在实际应用中的效果。

关键观点4: Qlora方法的显存分析

Qlora是进一步压缩模型精度并结合Lora训练的方法。通过对Qlora的显存进行分析，可以更好地理解其在提高模型效率方面的作用。

免责声明