[YoloV9][模型优化][知识蒸馏] — 如何实现基于特征的知识蒸馏？

文章预览

点击下方 卡片 ，关注“ 小白玩转Python ”公众号 所有实现都参考了 yzd-v/FGD github 仓库，该仓库基于 mmdetection 深度学习框架。 介绍和实现工作流程 在这里，我们将从教师模型的颈部特征中提取知识，并以特征损失的形式将知识蒸馏到学生模型中。为了实现这一点，如果按照以下工作流程实施，理解起来会更容易。 您需要加载教师模型。教师模型当然是在相同数据集上训练过的预训练模型。 由于它是基于特征的知识蒸馏，因此必须从学生/教师模型的颈部提取特征。在这里，使用 pytorch hook函数提取特征。 提取的特征必须以损失的形式蒸馏到学生模型中。在 FGD 中实现的特征损失稍作修改以适应 Yolo 格式。 加载教师模型 我们可以像下面所示创建一个知识蒸馏的 Yaml 配置。这允许您更有用地实现知识蒸馏。 # model settings temp : 0.5 alpha_fgd : 0.002 beta_fgd : 0 ………………………………