Tensor-007 Cute Layout简介

文章预览

TL;DR 针对不同的硬件平台架构, 在Cutlass 2.x中定义了多种Layout抽象, 在做矩阵分块计算/解决访问内存的Bank Conflict以及算子融合的过程涉及大量的内存访问地址映射转换等复杂的计算. 因此期望有一个相对通用的代数结构, 能够进行可组合的抽象(Composable Abstration), 这是CuTe产生的原因 CuTe Layout从根本上来说, 是从坐标空间到内存地址索引空间的一种映射代数. 为高维数组访问提供了一个通用的抽象接口. 用户不需要考虑列优先或者行优先的内存布局, 不用为某个分块的实际内存地址进行复杂的偏移计算. 而最关键的是针对矩阵从GMEM->SMEM->RF多次分块的过程中, 支持层次化Tensor结构和Layout代数, 可以通过一系列组合操作实现基于线程Layout的数据划分. 1.  CuTe Overview 1.1  基本类型和概念 1.1 .1  Integers整型 1.1 .2  Tuple元组 1.2  Shape, Stride and Layout 1.3  层次化访问 ………………………………