【LLM】一文详解MHA、GQA、MQA原理

文章预览

前言 本文回顾一下MHA、GQA、MQA，详细解读下MHA、GQA、MQA这三种常见注意力机制的原理。 图1 MHA、GQA、MQA一览 self-attention self-attention 在自注意力机制中，输入通常是一个统一的输入矩阵 ,而这个矩阵后续会通过乘以不同的权重矩阵来转换成三个不同的向量集合：查询向量 、键向量 和值向量 。这三组向量是通过线性变换方式生成： 1.查询向量 (Q):  2.键向量 (K):  3.值向量 (V):  ,和  是 可学习的权重矩阵 ，分别对应于查询、键和值。这些矩阵的维度取决于模型的设计，通常它们的输出维度(列数) 是预先定义的，以满足特定的模型架构要求。 在Transformer模型中，使用不同的权重矩阵 ,和 来分别生成查询向量 、键向量   和值向量   的 目的是为了允许模型在不同的表示空间中学习和抽取特征 。这样做增加了模型的灵活性和表达能力，允许模型分别优化 ………………………………