原创 | 大语言模型在文本属性图学习中的知识蒸馏

文章预览

作者： 王雨润 本文 约3200字 ，建议阅读 10 分钟 Emory大学的研究团队提出了一种新的方法，通过知识蒸馏技术，将LLMs的强大能力转移到更小、更高效的本地图模型中，以提高TAGs的学习效率。 文本属性图（Text-Attributed Graph, TAG）学习是图神经网络和自然语言处理领域的一个重要交叉点。TAG中的节点通常由文本描述，而图结构则表示节点之间的关系。这类图结构在社交网络、推荐系统、知识图谱等多个领域具有广泛应用。然而，由于文本数据的复杂性以及图数据的异质性，如何有效地在TAG上进行学习一直是一个具有挑战性的问题。传统的图神经网络在处理TAGs时，往往依赖于大量的人工标注标签，这在许多应用中是不可行的。 近年来，大型语言模型（Large Language Models, LLMs）在自然语言处理任务中展现了强大的能力。LLMs能够捕捉文本中的丰富语义信息 ………………………………