北邮GAMMA Lab专题解读 | Graph Transformer 最新研究进展

文章预览

专题解读|Graph Transformer 最新研究进展 图结构数据可以有效表示和建模显示世界中的任意交互关系，如社交网络、蛋白质网络和交通网络等，甚至以自然语言为代表的序列数据和以视觉为代表的网格数据也均可以通过“图”来进行建模表示。自 GCN[1] 出现以来，基于消息传递机制的图学习范式迅速成为了图机器学习领域的主流研究热点，然而过平滑[2]和过压缩[3]问题的存在使得基于消息传递的图神经网络无法叠加多层，使其感知范围只能局限于 2-3 跳邻居之内，大大限制了这类方法解决长范围依赖问题的能力。另一方面，Transformer 模型在自然语言处理以及计算机视觉领域取得的巨大成功也让众多研究者开始将目光转向 Graph Transformer 的研究中来。Graph Transformer 通过其全局注意力机制，自适应选择节点进行注意力计算，从而可以自然地避免过平滑、过压 ………………………………