首个快速知识蒸馏的视觉框架：ResNet50 80.1%精度，训练加速30%

文章预览

关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ ComputerVisionGzq 学习群 ｜ 扫码在主页获取加入方式 论文和项目网址：http://zhiqiangshen.com/projects/FKD/index.html 代码：https://github.com/szq0214/FKD 计算机视觉研究院专栏 今天介绍一篇来自卡耐基梅隆大学等单位 ECCV 2022 的一篇关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageNet-1K 从头开始 (from scratch) 训练到 80.1% (不使用 mixup，cutmix 等数据增强)，训练速度（尤其是数据读取开销）相比传统分类框架节省 16% 以上，比之前 SOTA 算法快 30% 以上，是目前精度和速度双双最优的知识蒸馏策略之一，代码和模型已全部开源！ 转自《机器之心》 知识蒸馏（KD）自从 2015 年由 Geoffrey Hinton 等人提出之后，在模型压缩，视觉分类检测等领域产生了巨大影响，后续产生了无数相关变种和扩展版本， ………………………………