NeurIPS 2024 | 超越KL！大连理工提出WKD：基于WD距离的知识蒸馏新方法

文章预览

↑ 点击 蓝字  关注极市平台 作者丨新智元  来源丨新智元  编辑丨极市平台 极市导读   大连理工大学的研究人员提出了一种基于Wasserstein距离的知识蒸馏方法，克服了传统KL散度在Logit和Feature知识迁移中的局限性，在图像分类和目标检测任务上表现更好。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 自Hinton等人的开创性工作以来，基于Kullback-Leibler散度（KL-Div）的知识蒸馏一直占主导地位。 然而，KL-Div仅比较教师和学生在相应类别上的概率，缺乏跨类别比较的机制，应用于中间层蒸馏时存在问题，其无法处理不重叠的分布且无法感知底层流形的几何结构。 为了解决这些问题，大连理工大学的研究人员提出了一种基于Wasserstein距离（WD）的知识蒸馏方法。所提出方法在图像分类和目标检测任务上均取得了当前最好的性能，论文已被NeurIPS 2024 ………………………………