LLM蒸馏到GNN，性能提升6.2%！Emory提出大模型蒸馏到文本图｜CIKM 2024

文章预览

   新智元报道   编辑：LRST 【新智元导读】 Emory大学的研究团队提出了一种创新的方法，将大语言模型（LLM）在文本图（Text-Attributed Graph, 缩写为TAG）学习中的强大能力蒸馏到本地模型中，以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解LLM的推理过程，并对学生模型进行对齐优化，在多个数据集上实现了显著的性能提升，平均提高了6.2%。 近年来，随着文本属性图（TAG）在社交媒体、电子商务、推荐系统和学术引用网络等领域的广泛应用，研究人员对如何有效地从这些复杂数据结构中学习变得越来越感兴趣。TAG不仅包含了节点之间的结构关系，还包含了节点本身的文本特征，因此如何同时处理这两种信息成为研究中的一个核心问题。 当前，图神经网络（GNN）在TAG学习中得到了广泛的应用，然而其训练过程 ………………………………