技术博客 | 使用 NVIDIA CUDA Toolkit 12.4 编译器创建运行时 Fatbin

文章预览

CUDA Toolkit 12.4 引入了一个新的 nvFatbin 库，用于在运行时创建 fatbins。fatbins，也称为 NVIDIA 设备代码 fat 二进制文件 sm_61 和 sm_90 。 到目前为止，要生成 fatbin，必须依赖命令行工具 fatbinary ，这不适合动态代码生成。这使得动态生成 fatbins 变得困难，因为您需要将生成的代码放入一个文件中，然后使用 exec 或类似命令调用 fatbinary ，并处理输出，这显著增加了动态生成 fatbins 的难度，并导致多次尝试通过各种容器模仿 fatbins。 CUDA Toolkit 12.4 引入了 nvFatbin，这是一个新的库，能够通过编程创建 fatbin，从而大大简化了这项任务，不再需要写入文件、调用 exec 、解析命令行输出和从目录中获取输出文件。  新库提供了运行时 fatbin 创建支持  使用 nvFatbin 库类似于任何其他熟悉的库，如 NVRTC 、nvPTXCompiler 和 nvJitLink。nvFatbin 库有静态和动态版本，适用于所 ………………………………