一文讲明白，大模型显存占用计算方法（单卡状态）

主要观点总结

本文主要介绍了大模型在单卡训练或推理时的显存占用系统分析，包括数据精度、全参训练和推理的显存分析、Lora和Qlora显存分析等。通过掌握这些知识点，可以更好地理解和优化大模型的训练过程。

关键观点总结

关键观点1: 数据精度

了解不同数据精度的含义，如float32、BF16等，以及它们在模型训练中的作用和影响。

关键观点2: 全参训练和推理的显存分析

分析模型权重、梯度、优化器和激活值在训练过程中如何占用显存，以及如何通过混合精度训练等方法优化显存使用。

关键观点3: Lora和Qlora显存分析

理解Lora和Qlora的原理，分析它们在模型训练过程中如何占用显存，以及如何进一步优化显存使用。

文章预览

以下 文 章来源于微信公众号：深度学习与自然语言处理 作者：然荻 链接：https://mp.weixin.qq.com/s/IBWobzTtJKT65UDNr8p81Q 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 大模型时代能够充分利用GPU的显存是一项非常有必要的技能。本文将在仅考虑单卡的情况下为大家讲明白大模型的内存占用机制，相信对大家后续训练、使用大模型都非常有帮助。 知乎： 然荻 链接：https://zhuanlan.zhihu.com/p/713256008 纯知识分享，侵删 1.告诉你一个模型的参数量，你要怎么估算出训练和推理时的显存占用？ 2.Lora相比于全参训练节省的显存是哪一部分？Qlora相比Lora呢？ 3.混合精度训练的具体流程是怎么样的？ 这是我曾在面试中被问到的问题，为了巩固相关的知识，打算系统的写一篇文章，帮助自己复习备战秋招的同时，希望也能帮到各位小伙伴。这篇文章将围 ………………………………