主要观点总结
本文介绍了如何使用NVIDIA Hopper架构中的张量内存加速器(TMA)进行GPU内存操作，包括TMA load、TMA store、TMA store reduce和TMA load multicast。文章通过简化示例展示了如何在CUDA kernel中调用这些操作，并深入研究了底层PTX指令，以获得对TMA更深入的理解。文章还讨论了TMA的某些高级特性，如swizzling模式和以interleaved格式排列的能力，这些在使用TMA配合Warpgroup矩阵-乘法-累加(WGMMA)指令时很重要。文章最后提供了完整的kernel示例。
关键观点总结
关键观点1: TMA简介与优势
TMA是NVIDIA Hopper架构中引入的一项新功能，用于在GPU的全局内存(GMEM)和其线程块(即CTA)的共享内存(SMEM)之间进行异步内存复制。TMA提供了许多优势，例如提高GPU利用率和节省寄存器。
关键观点2: TMA操作在CUDA kernel中的使用
文章通过简化示例展示了如何在CUDA kernel中调用TMA load、TMA store、TMA store reduce和TMA load multicast操作。
关键观点3: TMA操作底层的PTX指令
文章深入研究了底层PTX指令，以获得对TMA更深入的理解，并讨论了TMA支持的swizzling模式以及以interleaved格式排列的能力。
关键观点4: 完整的kernel示例
文章最后提供了完整的kernel示例，这些示例涵盖了文章中讨论的所有TMA操作。
文章预览
博客原地址：https://research.colfax-intl.com/tutorial-hopper-tma/
博客对应的完整代码：https://github.com/ColfaxResearch/cfx-article-src/tree/master/tma CUTLASS 教程：掌握 NVIDIA® 张量内存加速器 (TMA) TMA（张量内存加速器）是NVIDIA Hopper™架构中引入的一项新功能，用于在GPU的全局内存（GMEM）和其线程块（即CTA）的共享内存（SMEM）之间进行异步内存复制。与之前的方法相比，TMA提供了许多优势，例如：(1) 通过异步促进专用线程束(https://github.com/NVIDIA/cutlass/blob/main/media/docs/efficient_gemm.md#warp-specialization)的kernel调度，从而提高GPU利用率；(2) 通过TMA复制描述符以单线程方式处理辅助复制数据（如地址和步长）的计算，这种方式既更节省寄存器，又能必要地处理谓词（如边界检查）。NVIDIA的技术博客(https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/)和Hopper调优指南(https://docs.nvid
………………………………
