首个全量化Vision Transformer的方法FQ-ViT，AI大模型落地不远了！

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文地址： https://arxiv.org/pdf/2111.13824.pdf 项目代码： https://github.com/megvii-research/FQ-ViT 计算机视觉研究院专栏 Column of Computer Vision Institute 将算法网络进行量化和模型转换可以显着降低模型推理的复杂性，并在实际部署中得到了广泛的应用。然而，大多数现有的量化方法主要是针对卷积神经网络开发的，并且在完全量化的vision Transformer上应用时会出现严重的掉点。今天我们就分享一个新技术，实现高精度量化的Vit部署。AI大模型落地使用离我们还远吗？ 01 总  述 Transformer 是现在火热的AIGC预训练大模型的基础，而ViT(Vision Transformer)是真正意义上将自然语言处理领域的Transformer带到了视觉领域。从Transformer的发展历程就可以看出 ………………………………