如何简单计算LLM推理和训练所需的GPU资源

文章预览

Meta不久前刚发布了Llama 3.1的一系列开源模型，在多项基准测试中，超越了GPT-4o和Claude 3.5 Sonnet等闭源的商业大模型。开源大模型性能越来越强，可以满足很多私有化部署的业务场景。不同于商业模式的服务调用模式，需要自己搭建环境，部署模型。有些时候还要自己微调模型，以更好适应特有的场景。 LLM 的特点是计算要求非常高，具有数十亿个参数，并且需要对数 TB 的数据进行训练。这得益于过去十年计算能力的最新进步以及新的优化技术和架构。尽管取得了这些进步，但由于计算限制和专有模型，LLM 仍远未普及。例如，训练 GPT-4 的成本估计约为 1 亿美元。 虽然微调 700 亿个参数的模型可能仍需要大量计算资源，但成本已大幅降低，让像我这样的技术爱好者可以在本地运行其中一些模型。 本文用简单的方式总结LLM对部署环境的GPU显存的要求， ………………………………