主要观点总结
本文介绍了MNN CPU动态量化的相关内容，包括数学表达式、关键计算步骤、使用教程及性能测试结果。
关键观点总结
关键观点1: MNN CPU动态量化的原理
MNN CPU动态量化是一种在运行时对浮点型数据进行量化，以降低模型推理的内存占用和提高运行速度的技术。它通过对权重数据进行8bit量化，然后与8bit或4bit的权重数据做矩阵乘法，并将结果反量化输出。
关键观点2: MNN CPU动态量化的优势
MNN CPU动态量化在Transformer类模型和传统CV模型的推理中都有不错的表现，可以显著提升推理性能和降低运行时内存。此外，动态量化方法相较于浮点模型，算法过程更加简单高效，并且理论上精度更高。
关键观点3: MNN CPU动态量化的使用教程
使用MNN CPU动态量化进行推理需要设置编译宏MNN_LOW_MEMORY，并在推理时设置memory=low。此外，还需要使用config.json文件指定推理时的相关参数，如模型文件、线程数、精度等。
关键观点4: MNN CPU动态量化的性能测试结果
在测试机器小米14（骁龙8Gen3）上，对LLM模型、mobilenetv3、mobilenetv2和resnet50等模型进行了动态量化推理的性能测试。结果显示，动态量化在推理速度上有明显的提升，并且对于不同的模型都有较好的表现。
关键观点5: 团队介绍
介绍大淘宝技术Meta Team及其研究方向，包括端智能、商品三维重建、3D引擎等方面的技术积累，以及在顶级学术会议和期刊上发表的论文。
文章预览
作为一款高性能的推理引擎框架，MNN高度关注Transformer模型在移动端的部署并持续探索优化大模型在端侧的推理方案。本文介绍权重量化的模型在MNN CPU后端的推理方案：动态量化。动态量化指在运行时对浮点型feature map数据进行8bit量化，然后与8bit/4bit的权重数据做矩阵乘法并将结果反量化为浮点类型输出。 虽然动态量化方案设计的初衷是在移动端高效地推理LLM模型，但方案本身适用于所有模型的各个推理场景，例如语音识别类模型TTS、ASR等进行权重量化后也能在端侧实现高效推理，推理耗时和运行时内存占用都能降低50%，和浮点模型相比最大相对误差可以控制在10%以内。文章首先从数学表达式开始描述动态量化的计算原理，接着从模型推理的角度拆解计算过程，然后介绍MNN CPU后端的矩阵乘逻辑，最后以Qwen2-1.5B模型为例，介绍在CPU后端使用动态量
………………………………
