结合代码聊聊FlashAttentionV3前向过程的原理

文章预览

作者：杨鹏程 链接：https://zhuanlan.zhihu.com/p/30142745226 前言 接着Kernel系列，前文介绍了PagedAttentionV1和V2，本文开始介绍FlashAttentionV3 （后文简称为FA3）。FA3的涉及内容比较多，如果用一篇来介绍的话，内容太大，不便于阅读，所以初步会分为《FA3原理篇》，《FA3数据的Load和Store篇》，《FA3的WGMMA数据划分和Mask设计篇》，《FA3的Block调度，负载均衡，以及Overlap技巧篇》。同时分析FA系列，cutlass是必不可少，所以计划有Cutlass基础篇的四篇，分别是《cutlass核心数据结构和函数篇》，《理解cutlass的MMA/WGMMA数据划分篇》，《cutlass的数据加载之TMA设计与使用篇》，《cutlass中的Warp Specialization（即WS）编程模式篇》。另外针对GPU优化的基础知识介绍一下《CPU与GPU指令调度和优化思路的差异篇》。文章的名以最终发布为准。 为啥把这篇作为FA3系列的开篇，主要原因 ………………………………