MoE再下一城！港大提出AnyGraph：首次开启「图大模型」Scaling Law之路

主要观点总结

AnyGraph是一种解决图数据核心难题的图基础模型，它跨越多种场景、特征和数据集进行预训练。该模型采用混合专家模型和特征统一方法处理结构和特征的异质性，通过轻量化路由机制和高效设计提升快速适应能力，且在泛化能力上符合Scaling Law。文章介绍了AnyGraph的背景、方法、特点和实验结果的简要概述。

关键观点总结

关键观点1: AnyGraph解决图数据的核心难题

AnyGraph模型旨在解决图数据的核心难题，包括结构和特征的异质性、跨领域预测的挑战等。它通过预训练多个专家模型来应对这些问题，每个专家模型都针对特定的图数据特点进行设计。

关键观点2: 混合专家模型和特征统一方法

AnyGraph采用混合专家模型架构，集成多个专家图模型来应对结构和特征的异质性。每个专家模型都采用统一的结构和特征统一方法，将不同维度的数据映射为具有统一长度的表征。

关键观点3: 快速适应能力

AnyGraph设计了轻量化的图专家路由机制，能够快速适应新数据集和领域，而无需大量重新训练或微调。它通过自监督任务来评测专家模型的预测准确性，并能在仅使用单个专家模型的情况下达到与大规模预训练模型相当的效果。

关键观点4: 符合Scaling Law的泛化能力

AnyGraph在泛化能力上符合Scaling Law，即随着模型参数量和训练数据量的增加，模型效果不断提升。实验结果表明，AnyGraph在零样本预测能力上保持了这一趋势。

免责声明