DFMSD：面向目标检测的双特征Mask异质蒸馏框架 ！

文章预览

前言   在异质蒸馏范式下，教师与学生框架之间的巨大差异对特征 Mask 有害，导致重构的学生特征质量下降。在本文中，作者提出了一种新颖的面向目标检测的双特征 Mask 异质蒸馏框架，简称DFMSD。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 集智书童 仅用于学术分享，若侵权请联系删除 1 Introduction 众所周知，知识蒸馏（KD）可以帮助将知识从复杂的模型（教师模型）转移到紧凑的网络（学生模型），从而使后者能够在较低成本下实现更优的性能。它被认为是对各种下游任务（包括目标检测和语义分割）进行模型压缩的有效手段。早期的蒸馏算法主要关注网络的输出 Head ，旨在将复杂教师网络中学到的隐含知识转移到轻量级的学生模型中。这 ………………………………