TRT-LLM中的Quantization GEMM（Ampere Mixed GEMM）CUTLA...

主要观点总结

文章介绍了在TRT-LLM中如何基于CUTLASS 2.x实现PerChannel/AWQ/SmoothQuant等量化方法在模型推理过程的计算，并详细记录了每一页Slides的要点。文章讨论了TRT-LLM中的量化主要分为Mixed GEMM和Universal GEMM两类，以及不同量化技术的实现方法和特点。同时，也提到了TRT-LLM中对于权重Layout的设计，以提高性能。

关键观点总结

关键观点1: TRT-LLM中的量化方法

TRT-LLM中的量化主要分为Mixed GEMM和Universal GEMM两类，其中Mixed GEMM的Activation和Weight的数据类型不同，而Universal GEMM的数据类型相同。

关键观点2: PerChannel/AWQ/SmoothQuant等量化技术的实现

PerChannel在推理时会先对Weight进行乘Scales的反量化，AWQ和GPTQ的权重是GroupWise的，需要在反量化时乘以Scales并加上Zeros。SmoothQuant不需要在GEMM前做反量化，其Scale在输出时应用。

关键观点3: 权重Layout设计

TRT-LLM中为了性能考虑对B矩阵的Layout进行调整，例如采用ColumnMajorTileInterleave的Layout，以利用高效的128比特load指令，以及确保A, B矩阵都能用ld.128指令进行load。

免责声明