文章预览
“ 他 山 之 石 ， 可 以 攻 玉 ” ， 站 在 巨 人 的 肩 膀 才 能 看 得 更 高 ， 走 得 更 远 。 在 科 研 的 道 路 上 ， 更 需 借 助 东 风 才 能 更 快 前 行 。 为 此 ， 我 们 特 别 搜 集 整 理 了 一 些 实 用 的 代 码 链 接 ， 数 据 集 ， 软 件 ， 编 程 技 巧 等 ， 开 辟 “ 他 山 之 石 ” 专 栏 ， 助 你 乘 风 破 浪 ， 一 路 奋 勇 向 前 ， 敬 请 关 注 ！ 1 Introduction 众所周知，知识蒸馏（KD）可以帮助将知识从复杂的模型（教师模型）转移到紧凑的网络（学生模型），从而使后者能够在较低成本下实现更优的性能。它被认为是对各种下游任务（包括目标检测和语义分割）进行模型压缩的有效手段。早期的蒸馏算法主要关注网络的输出 Head ，旨在将复杂教师网络中学到的隐含知识转移到轻量级的学生模型中。这种蒸馏方案也被称为基于对数的分类蒸馏[1
………………………………
