KG+LM超越传统架构！海德堡提出全新图语言模型GLM | ACL 2024

文章预览

   新智元报道   编辑：alan 【新智元导读】 近日，来自海德堡大学的研究人员推出了图语言模型 (GLM)，将语言模型的语言能力和知识图谱的结构化知识，统一到了同一种模型之中。 语言模型（LM）的成功似乎掩盖了旁人的光辉。 比如知识图谱（knowledge graph，KG），这个整合了实体关系的结构化知识库。 通常来说，语言模型代表了语言能力，而知识图谱蕴含了结构信息。 长期以来，对于KG的利用大致可以分为两类： 第一类是将KG线性化后嵌入LM，这种做法并不能充分利用其结构信息； 第二类是使用图神经网络 (GNN) 来保留图结构，但GNN无法表示文本特征，也无法与LM的预训练特征结合。 ——有没有办法结合二者的优点，既保留预训练LM的能力，又充分利用KG来增强模型对于图概念和三元组的理解？ 当然有， 不然小编就不会写 ，那就是来自海德堡大 ………………………………