ICML 2024 | 基于特征基匹配的图蒸馏方法

文章预览

©作者 | 刘洋 单位 | 北邮GAMMA Lab 研究方向 | 图神经网络 随着图数据量的不断增加，高效训练图神经网络（graph neural networks, GNNs）的需求也在不断提升。新兴的图蒸馏（graph distillation, GD）技术为这一挑战提供了解决思路，图蒸馏通过生成一个小的合成图来代替真实的大规模图，并确保在合成图上训练的 GNNs 表现出与在真实图上训练相当的性能。然而，现有的方法依赖与 GNNs 相关的信息进行监督，例如梯度、表征和轨迹，这样做有两个局限性。 首先，GNNs 可能会影响真实图的谱（spectrum，即特征值），造成在合成图上产生谱偏差。 其次，使用不同架构的 GNNs 蒸馏会生成不同的合成图，为了训练不同的 GNNs 都能获得最优性能，需要遍历各种架构的 GNNs 蒸馏出相应的合成图。 为了解决这些问题，我们提出了基于特征基匹配的图蒸馏方法（Graph Distillation ………………………………