专栏名称: 数据派THU
本订阅号是“THU数据派”的姊妹账号,致力于传播大数据价值、培养数据思维。
今天看啥  ›  专栏  ›  数据派THU

【NeurIPS2024】GDeR: 通过原型图剪枝保障效率、平衡性与鲁棒性

数据派THU  · 公众号  · 大数据  · 2024-10-30 17:03

主要观点总结

文章介绍了一种新的动态软剪枝方法GDeR,该方法通过可训练的原型动态更新训练“篮子”以优化图神经网络(GNN)的训练。在面临大规模、不平衡和噪声数据集时,GDeR能够通过构建图嵌入超球体并从中抽取代表性、平衡且无偏的子集来实现图训练调试目标。实验表明,GDeR在减少训练样本的情况下性能优异,并实现高速训练,同时在不平衡和噪声训练场景中表现更出色。

关键观点总结

关键观点1: 新的动态软剪枝方法GDeR的介绍

文章提出了一种名为GDeR的动态软剪枝方法,它通过可训练的原型动态更新训练“篮子”,旨在优化GNN的训练。

关键观点2: GDeR的工作原理

GDeR通过构建一个经过良好建模的图嵌入超球体,并从中抽取代表性、平衡且无偏的子集,以实现图训练调试目标。

关键观点3: GDeR的性能表现

在多个数据集和GNN骨干网络上的实验表明,GDeR在减少训练样本的情况下仍能达到或超越完整数据集的性能,并实现高速训练。此外,在不平衡和噪声训练场景中,GDeR的性能优于其他最新剪枝方法。

关键观点4: GDeR的获取方式

源代码可在https://github.com/ins1stenc3/GDeR获取。

关键观点5: 数据派THU的介绍

数据派THU作为数据科学类公众号,分享前沿数据科学与大数据技术创新研究动态,并持续传播数据科学知识。


文章预览

来源:专知 本文 约1000字 ,建议阅读 5 分钟 我们提出了一种新的动态软剪枝方法—— GDeR ,该方法通过可训练的原型在训练过程中动态更新训练“篮子”。 训练高质量的深度模型需要大量的数据,这会导致巨大的计算和内存需求。近年来,数据剪枝、蒸馏和核心集选择等方法被开发出来,以通过保留、合成或从完整数据集中选择一个小而信息丰富的子集来简化数据量。在这些方法中,数据剪枝带来的额外训练成本最低,并提供了最实际的加速效果。然而,它也是最脆弱的,往往在数据不平衡或数据模式偏差的情况下遭遇显著的性能下降,因此在设备端部署时,其准确性和可靠性引发了担忧。因此,迫切需要一种新的数据剪枝范式,既能保持现有方法的效率,又能确保平衡性和鲁棒性。与计算机视觉和自然语言处理领域中已开发出成熟的解决方案 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览