网页链接查看我们最新的 CUDA 教程。 网页链接主题是软件流水-20240924141427

文章预览

2024-09-24 14:14 本条微博链接 网页链接 查看我们最新的 CUDA 教程。 网页链接 主题是软件流水线：将内存复制与计算重叠以隐藏延迟。我们在 GEMM（matmul）的背景下提出了这个概念，但它适用于任何地方。例如，Flash Attention 2 和 3。 从概念上讲，软件流水线很难正确实现，但对于良好的性能来说却至关重要。如果您在 A100 或更新的 GPU 上编程，并且不使用流水线，那么您就没有充分利用昂贵的 GPU。 我们讨论了流水线的历史 ………………………………