ICML 2024 | 谁说图卷积就不如图Transformer？Mila华为诺亚提出基于连续卷积核的全新图卷积网络

文章预览

欢迎向本公众号投稿文献解读类原创文章, 以及海内外招生、访学、招聘等稿件，投稿邮箱：gnn4ai@outlook.com，或者请联系微信：GNN4AI。 近年来，基于Transformer的图模型(图Transformer，graph Transformer)成为了一个备受关注的研究方向。 有别于传统的基于信息传递机制(Message-passing)的图神经网络(简称MPNN)， 图Transformer通过全局注意力机制来聚合全图的所有其他节点的信息，因此它能有效克服MPNNs的过度挤压(over-squashing), 过度平滑(over-smoothing)，以及有限的表征能力(上界为于1阶WL算法) 。得益于图Transformer的设计，在对结构信息要求较高的图任务中（如[1], [2])，图Transformer的表现有着对MPNNs极大的优势 [3, 4]。 近年来，在视觉领域， 不少研究者在质疑注意力机制和Transformer是不是唯一的“正确解” 。不基于注意力机制的卷积网络(Convolution Networks, 简称ConvNet)， 是否 ………………………………