【ICML2024】揭示Graph Transformers 中的过全局化问题

文章预览

Less is More: on the Over-Globalizing Problem in Graph Transformers 作者： Yujie Xing, Xiao Wang, Yibo Li, Hai Huang, Chuan Shi 单位： 北京邮电大学，北京航空航天大学 摘要： Graph Transformer，由于其强大的全局注意力机制，受到研究者的大量关注并已经成为处理图结构数据的一类重要方法。人们普遍认为，全局注意力机制以全连接图的形式考虑了更广泛的感受野，使得许多人相信 Graph Transformer 可以从所有节点中有效地提取信息。在本文中，我们对这一信念提出了挑战：Graph Transformer 的全局化特性是否总是有益呢？我们首先通过实验证据和理论分析，揭示了 Graph Transformer 中的过全局化问题 (Over-Globalizing Problem)，即当前 Graph Transformer 的注意力机制过度关注那些远端节点，而实际上包含了大部分有用信息的近端节点则被相对忽视了。为了缓解这一问题，我们提出了一种新的采用 ………………………………