不是H100租不起，而GPU混布更有性价比！

文章预览

作者：方佳瑞，腾讯 · 专家工程师。 声明：本文只做分享，版权归原作者，侵权私信删除！ 原文：https://zhuanlan.zhihu.com/p/707684656 编辑：青稞AI 大模型推理加速卷了这么久了，相信大家都明白一件事，用单一类型的GPU来部署和提供大型语言模型（LLM）服务不是最有性价比的方案。 一、利用GPU异构性的降本空间 目前，LLM推理设备选择的日益丰富，不仅有新旧型号的各种NVIDIA GPU，还有逐渐壮大的国产NPU大军，这些设备在计算能力、内存容量、带宽等关键性能指标上各有所长。同时，大型语言模型（LLM）的推理请求在输入输出和吞吐等方便是变化的，导致LLM服务负载的计算和存储访问特性也在不断变化。因此，对于每个具体的请求而言，最适合的计算设备也不尽相同，没有任何单一的GPU能够在处理所有类型的请求时始终保持最高的性价比。 我之前用Roo ………………………………