CVPR 2025 满分论文！一块2080Ti搞定数据蒸馏，GPU占用仅2G！来自上交大“最年轻博导”课题组！

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 克雷西 发自 凹非寺 转载自：量子位（QbitAI） 只要一块6年前的2080Ti，就能做大模型数据蒸馏？ 来自上交大EPIC实验室等机构的一项最新研究，提出了一种新的数据集蒸馏方法—— NFCM 。 与前SOTA相比，新方法的 显存占用只有1/300，并且速度提升了20倍 ，相关论文获得了 CVPR满分 。 NCFM引入了一个辅助的神经网络，将数据集蒸馏重新表述为一个极小化极大 （minmax） 优化问题。 在多个基准数据集上，NCFM都取得了显著的性能提升，并展现出可扩展性。 在CIFAR数据集上，NCFM只需2GB左右的GPU内存就能实现无损的数据集蒸馏，用2080Ti即可实现。 并且，NCFM在连续学习、神经架构搜索等下游任务上也展现了优异的性能。 将数据蒸馏转化为minmax优化 NCFM的核心是 引入了一个新的分 ………………………………