【每周CV论文推荐】初学模型蒸馏值得阅读的文章

文章预览

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够 系统性完成学习 ，所以我们推荐的文章也必定是同一主题的。 模型蒸馏是非常重要的模型压缩方法，在学术界研究非常广泛，本次我们来简单给大家推荐一些初入该领域值得阅读的工作 。 作者 & 编辑 | 言有三 1 基于优化目标驱动的知识蒸馏框架 Hinton最早在文章“Distilling the knowledge in a neural network”中提出了知识蒸馏的概念，其核心思想是一旦复杂网络模型训练完成，便可以用另一种训练方法从复杂模型中提取出来更小的模型。 文章引用量：11000+ 推荐指数：✦✦✦✦ ✦ [1] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015, 2(7). 2 基于特征匹配约束的知识蒸馏框架 上述基本的蒸馏框架以优化目标来约束teacher模 ………………………………