CVPR'24 | SSD-KD：清华与天翼云联手打造，无数据蒸馏效率提升10倍

文章预览

无数据知识蒸馏能够利用大型教师网络所学到的知识，来增强较小型学生网络的训练，而无需访问原始训练数据，从而避免在实际应用中的隐私、安全和专有风险。在这方面的研究中，现有的方法通常遵循一种反演蒸馏的范式，在预训练教师网络指导下实时训练生成对抗网络来合成一个大规模的样本集用于知识蒸馏。论文重新审视了这种常见的无数据知识蒸馏范式，表明通过“小规模逆向数据进行知识蒸馏”的视角，整体训练效率有相当大的提升空间。根据三个经验观察结果，这些观察结果表明在数据逆向和蒸馏过程中平衡类别分布在合成样本多样性和难度上的重要性，论文提出了小规模无数据知识蒸馏（ SSD-KD ）。在形式化上， SSD-KD 引入了一个调节函数来平衡合成样本，并引入了一个优先采样函数来选择合适的样本，通过动态回放缓冲区和强化 ………………………………