如何估算LLM推理和训练所需的GPU内存？

文章预览

作者：孙鹏飞，南京大学 · 计算机科学与技术 原文：https://zhuanlan.zhihu.com/p/716317173 在实际工作中，经常有人问，7B、14B或70B的模型需要多大的显存才能推理？如果微调他们又需要多大的显存呢？为了回答这个问题整理一份训练或推理需要显存的计算方式。如果大家对具体细节不感兴趣，可以直接参考经验法则评估推理或训练所需要的资源。更简单的方式可以通过 这个工具 [1] 或者 huggface官网计算推理/训练需要的显存工具 [2] 在线评估。 数据精度 开始介绍之前，先说一个重要的概念——数据精度。数据精度指的是信息表示的精细程度，在计算机中是由数据类型和其位数决定的。如果想要计算显存，从“原子”层面来看，就需要知道我们的使用数据的精度，因为精度代表了数据存储的方式，决定了一个数据占多少bit。目前，精度主要有以下几种： • ………………………………