优化视觉 Transformer 在移动设备上的性能,PQV-Mobile 实现高效剪枝与量化 !

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 视觉 Transformer （ViTs）在计算机视觉任务上效果显著，正逐渐取代卷积神经网络成为最具创新性的技术。然而，这类模型复杂且内存密集。 为了在资源受限的移动/边缘系统上有效运行这些模型，不仅需要压缩这些模型，而且需要对其进行优化，转换成部署友好的格式。 为此，本文提出了一种结合剪枝和量化工具，称为PQV-Mobile，用于优化移动设备中的视觉 Transformer 。该工具能够支持基于幅度重要性、泰勒重要性、以及Hessian重要性的不同结构的剪枝。 它还支持从FP32减少到FP16和int8的量化，针对不同的移动硬件后端进行调整。本文展示了作者工具的功能，并研究了不同程度的剪枝和int8量化对于Facebook数据高效的图像 Transformer （DeiT）模型在 ………………………………