文章预览
来源:专知 本文 约1000字 ,建议阅读 5 分钟 我们提出了一种新的动态软剪枝方法—— GDeR ,该方法通过可训练的原型在训练过程中动态更新训练“篮子”。 训练高质量的深度模型需要大量的数据,这会导致巨大的计算和内存需求。近年来,数据剪枝、蒸馏和核心集选择等方法被开发出来,以通过保留、合成或从完整数据集中选择一个小而信息丰富的子集来简化数据量。在这些方法中,数据剪枝带来的额外训练成本最低,并提供了最实际的加速效果。然而,它也是最脆弱的,往往在数据不平衡或数据模式偏差的情况下遭遇显著的性能下降,因此在设备端部署时,其准确性和可靠性引发了担忧。因此,迫切需要一种新的数据剪枝范式,既能保持现有方法的效率,又能确保平衡性和鲁棒性。与计算机视觉和自然语言处理领域中已开发出成熟的解决方案
………………………………