【深度学习】既然英伟达A100/H100 太贵，为什么不用 4090？

文章预览

作者丨 李博杰@知乎（已授权） 来源丨 https://zhuanlan.zhihu.com/p/655402388 编辑丨极市平台 导读   大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。4090 如果极致优化，性价比甚至可以达到 H100 的 2 倍。 （长文预警：本文按 Word 计数法 16000 字，按知乎计数法 24000 字） 这是一个好问题。先说结论， 大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。4090 如果极致优化，性价比甚至可以达到 H100 的 2 倍。 事实上， H100/A100 和 4090 最大的区别就在通信和内存上，算力差距不大。 H100 A100 4090 Tensor FP16 算力 989 Tflops 312 Tflops 330 Tflops Tensor FP32 算力 495 Tflops 156 Tflops 83 Tflops 内存容量 80 GB 80 GB 24 GB 内存带宽 3.35 TB/s 2 TB/s 1 TB/s 通信带宽 900 GB/s 900 GB/s 64 GB/s 通信时 ………………………………