一文讲明白，大模型显存占用计算方法（单卡状态）

文章预览

以下 文 章来源于微信公众号：深度学习与自然语言处理 作者：然荻 链接：https://mp.weixin.qq.com/s/IBWobzTtJKT65UDNr8p81Q 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 大模型时代能够充分利用GPU的显存是一项非常有必要的技能。本文将在仅考虑单卡的情况下为大家讲明白大模型的内存占用机制，相信对大家后续训练、使用大模型都非常有帮助。 知乎： 然荻 链接：https://zhuanlan.zhihu.com/p/713256008 纯知识分享，侵删 1.告诉你一个模型的参数量，你要怎么估算出训练和推理时的显存占用？ 2.Lora相比于全参训练节省的显存是哪一部分？Qlora相比Lora呢？ 3.混合精度训练的具体流程是怎么样的？ 这是我曾在面试中被问到的问题，为了巩固相关的知识，打算系统的写一篇文章，帮助自己复习备战秋招的同时，希望也能帮到各位小伙伴。这篇文章将围 ………………………………