摘要：模型蒸馏（model distillation），即将复杂-20250201102800

文章预览

2025-02-01 10:28 本条微博链接 摘要：模型蒸馏（model distillation），即将复杂模型的知识迁移到更简单的模型中。本文提出了另一种方法：数据集蒸馏（dataset distillation）：保持模型不变，尝试将大型训练数据集的知识压缩成小型数据集。这个想法是合成无需来自正确数据分布的少量数据点，这些数据点在作为学习算法的训练数据时，训练出的模型逼近在原始数据上训练的模型。例如，实验证明六万个 MNIST 训练图像可以压缩 ………………………………