GPU 矩阵乘实际可达最大FLOPS测量工具

文章预览

↑ 点击 蓝字  关注极市平台 作者丨BBuf 来源丨GiantPandaCV 编辑丨极市平台 极市导读   介绍了一个用于测量GPU上矩阵乘法实际可达最大FLOPS的工具mamf-finder.py，可以搜索任意GPU上的最大Matmul FLOPS，并支持PyTorch的多种数据类型。文章提供了不同数据类型（包括FP16和FP8）的使用示例，并展示了如何在不同GPU（如A100、MI300X和H100）上进行特定范围的搜索以获得最佳性能。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 前言 在 https://github.com/stas00/ml-engineering/blob/master/compute/accelerator/benchmarks/mamf-finder.py 这里有一个可以在任意 GPU 上搜索最大 Matmul FLOPS 的脚本，使用起来非常简单，依赖也只有 PyTorch 库。之前只支持 FP16 数据类型，我帮助完善了一下支持 PyTorch 的各种数据类型，这里安利一下，只需要下载这个脚本就可以了。下面是使用方法： FP16 使用示 ………………………………