实操教程｜5个步骤教你TVM里优化ViT的int8实现，提速4.6倍

↑ 点击蓝字 关注极市平台作者丨火柴天堂来源丨https://zhuanlan.zhihu.com/p/365686106编辑丨极市平台极市导读 5个步骤教你在TVM里优化ViT的int8实现，提速4.6倍，比TRT快1.5倍。 >>加入极市CV技术交流群，走在计算机视觉的最前沿背景知识：ViT模型及其速度Transformer 模型在 NLP 领域得到了广泛的应用，去年谷歌的一项工作将 Transformer 模型应用在了视觉领域，并在 ImageNet 等图像分类数据集上取得了出色的效果，该模型被叫做 Vision Transformer (ViT) (论文链接：https://arxiv.org/abs/2010.11929)。那ViT在硬件上inference的速度怎么样呢？以复现的输入大小为 1x3x224x224 的 ViT 模型为基础，我们在 GTX1660 显卡上分别应用 cudnn、tensorrt、tvm 三种后端测试了模型速度，结果对比如下：后端B16_224B32_224cuda10.2_ ………………………………