CVPR满分论文：一块2080Ti搞定数据蒸馏，GPU占用仅2G，来自上交大“最年轻博导”课题组

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 只要一块6年前的2080Ti，就能做大模型数据蒸馏？ 来自上交大EPIC实验室等机构的一项最新研究，提出了一种新的数据集蒸馏方法—— NFCM 。 与前SOTA相比，新方法的 显存占用只有1/300，并且速度提升了20倍 ，相关论文获得了 CVPR满分 。 NCFM引入了一个辅助的神经网络，将数据集蒸馏重新表述为一个极小化极大 （minmax） 优化问题。 在多个基准数据集上，NCFM都取得了显著的性能提升，并展现出可扩展性。 在CIFAR数据集上，NCFM只需2GB左右的GPU内存就能实现无损的数据集蒸馏，用2080Ti即可实现。 并且，NCFM在连续学习、神经架构搜索等下游任务上也展现了优异的性能。 将数据蒸馏转化为minmax优化 NCFM的核心是 引入了一个新的分布差异度量NCFD，并将数据集蒸馏问题转化为一个minmax优化问题 。 通过交替优化合成数 ………………………………