如何估算 Transformer 模型中的参数数量

文章预览

来源：我的AI之路 本文参考了 https://towardsdatascience.com/how-to-estimate-the-number-of-parameters-in-transformer-models-ca0f57d8dff0 并在其基础上做了一点改动。 最有效的理解新机器学习架构（以及任何新技术）的方式是从零开始实现它。虽然这种方法非常复杂、耗时，并且有时几乎不可能做到，但它能帮助你深入理解每一个实现细节。例如，如果你没有相应的计算资源或数据，你将无法确保你的解决方案中没有隐藏的错误。 不过，还有一种更简单的方法——计算参数数量。相比直接阅读论文，这种方法并不复杂，但能够让你深入理解新架构的构建模块（在这里指的是 Transformer 编码器和解码器模块）。 你可以参考以下示意图来理解这一点，该图展示了三种理解新机器学习架构的方式——圆圈的大小代表对架构的理解程度。 理解机器学习架构的方式。计算参数数量 ………………………………