TokenGT：Transformer是强大的图学习器

文章预览

论文标题：Pure Transformers are Powerful Graph Learners 论文链接：https://arxiv.org/abs/2207.02505 论文来源：NIPS 2022 一、概述 由于Transformer的完全注意力架构接收、处理和关联任意结构的输入和输出的能力，消除了将特定于数据和任务的归纳偏差融入网络架构的需要，这使得其在NLP、CV等诸多领域成为了通用架构。与大规模训练相结合，它为构建一个通用模型开辟了新的篇章，该模型可以解决涉及多种数据模式甚至混合模式的广泛问题。 在图学习领域，受这些突破的启发，许多研究尝试将自注意力机制结合到之前以消息传递为主的图神经网络(GNN)架构中。然而，由于跨节点的全局自注意力不能反映图结构，这些方法引入了特定于图的架构修改。这些方法包括  ①限制自注意力只关注节点的局部邻域；  ②使用全局自注意力与消息传递GNN相结合；  ③通过attention的 ………………………………