大模型时代，平衡推理与实施性能才是其制胜的必要条件

文章预览

作者 | Jessie 出品 | 焉知 在大模型时代，底层逻辑的变化反映了深度学习系统的运行模式和成本结构。传统互联网系统在用户增加时，可以通过规模效应降低边际成本。例如，分布式缓存和数据复用可以减少对核心计算资源的依赖。然而，在大模型推理中，计算负担并没有显著减轻，因为每次推理都需要进行新的计算，而不是简单的复用已有的计算结果。这导致了大模型推理系统难以享受规模效应带来的成本下降。 尤其是在大模型的推理过程中，成本与客户使用量之间几乎呈线性关系。在大模型推理中，随着用户请求数量的增加，系统需要更多的推理次数，因此计算需求呈现线性增长。每次用户请求都会触发一次高强度的计算过程，导致整体成本几乎和客户使用量成正比。在大规模预训练模型中，如GPT系列、BERT、Vision Transformers等，具有数以百亿 ………………………………