Transformer 能代替图神经网络吗?

文章预览

来源：DeepHub IMBA 本文 约2000字 ，建议阅读 7 分钟 本文详细展示了Transformer在图推理方面的能力，并且涵盖了不同的参数缩放模式。 当Transformer模型发布时，它彻底革新了机器翻译领域。虽然最初是为特定任务设计的，但这种革命性的架构显示出它可以轻松适应不同的任务。随后成为了Transformer一个标准，甚至用于它最初设计之外的数据（如图像和其他序列数据）。 然后人们也开始优化和寻找替代方案，主要是为了减少计算成本（自注意力机制的二次方成本）。关于哪种架构在计算成本方面更优的讨论一直在进行，但是对于Transformer来说，它的成功之处在于模型能够展示出强大的推理能力。 如何分析神经网络的推理能力？ 最常用的方法之一是研究利用架构内部表示能执行哪些算法。有一个完整的领域致力于这项任务：Neural algorithmic reasoning。Transforme ………………………………