KDD 2024 | 如何在图A上预训练，在图B上直接推理？大模型帮助图领域的零样本学习挑战

文章预览

人类面对新问题时，往往会将其与已知的知识联系起来。这一观念同样适用于机器学习（ML）。传统的 ML 方法多关注在训练过程中已见过的类别。然而，现实应用往往要求对未曾见过的类别进行分类，这就需要模型利用已有的知识进行推理和解决问题。例如，一个训练于动物图像的模型虽然未曾见过“斑马”，但通过理解“条纹”与“马”的概念，它仍能成功识别斑马。  在 AI 领域，特别是随着大型语言模型（LLMs）如 GPT-4 和 LLaMA 的出现，零样本学习能力（zero-shot ability）已取得显著进展。零样本学习是指模型在训练阶段未接触目标类别的情况下，依然能够进行分类的学习范式。 在自然语言处理（NLP）中，这种学习通常基于生成范式（generative paradigm），模型依靠对广泛语料库的预训练来处理新数据。而在计算机视觉（CV）领域，零样本学习则依赖 ………………………………