主要观点总结
本文介绍了如何使用CUTLASS profiler提供的GEMM算子测试计算用途的GPU的实际峰值算力。文中通过对比实验，展示了不同GPU型号在不同精度下的性能表现，包括H100 PCIe、A100 PCIe、4090和A10。实验结果表明，CUTLASS对A100的优化比对H100的优化好，而4090在各种精度的优化上表现良好。文章还提到了GPU购买时需要注意的问题，以及通过现场测试验证GPU性能的方法。
关键观点总结
关键观点1: 使用CUTLASS profiler的GEMM算子进行GPU峰值算力的测试。
文中介绍了一种简单快速且较为准确的测试GPU实际峰值算力的方法，即使用CUTLASS profiler提供的GEMM算子进行测试。GEMM被认为是计算受限的算子，并且当下热门的Transformer模型负载也主要是GEMM，因此用其测得的最优性能可以近似当作GPU的实际峰值算力。
关键观点2: 不同GPU型号的性能对比。
通过实验对比了H100 PCIe、A100 PCIe、4090和A10等GPU型号在不同精度下的性能表现。结果表明CUTLASS对A100的优化较好，而4090在各种精度优化上表现优秀。
关键观点3: GPU购买注意事项和性能验证方法。
文章提到了购买GPU时需要注意的问题，包括合法渠道和售后保障的重要性，以及通过现场测试验证GPU性能的方法。文中还提到了如何根据测试结果评估GPU的实际性能，这对于购买者来说是非常重要的信息。
文章预览
原文：https://zhuanlan.zhihu.com/p/713121901 由于众所周知的原因，某些GPU在某些地区销售是没有合法渠道 & 售后保障的，从奇怪的渠道购买GPU有概率买到翻新货、假货。对于计算用途的GPU，我们通常会关心峰值算力、显存带宽、通信带宽三个指标，如果拿到的货这三个指标实测值和理论值相符咱就基本能安全下车了。这里将分三篇分别说明每个指标怎么测，本文是第一篇：算力篇。 想要简单快速又比较准的的测出实际峰值算力，可以使用CUTLASS profiler提供的GEMM算子进行测试。通常认为GEMM是计算受限的算子，且当下大热的Transformer模型负载基本上都是GEMM，故GEMM测得的最优性能可以被当作GPU的实际峰值算力。从github上的CUTLASS仓库（GitHub - NVIDIA/cutlass: CUDA Templates for Linear Algebra Subroutines） https://github.com/NVIDIA/cutlass 克隆源码并且按照文档里的方法编译cutlass_prof
………………………………
