ACL 2024 | GNNavi：用图神经网络引导大模型的信息流动

文章预览

本文分享慕尼黑大学Prof. Hinrich Schütze 团队与德累斯顿工业大学团队合作的一篇ACL 2024 Findings 长文：《GNNAVI: Navigating the Information Flow in Large Language Models by Graph Neural Network》。该工作受到上下文学习（ICL）中信息流视角的启发，利用标签词作为信息锚点的功能，提出了一种基于图神经网络结构的参数高效微调（PEFT）方法，并通过实验在GPT-2和Llama-2等模型上验证了该方法在效率、表现和解释性方面的优势。 文章链接 (arxiv):  https://arxiv.org/pdf/2402.11709 或点击文末 阅读原文 获取原文链接 数据代码链接 (Github):  https://github.com/ShuzhouYuan/GNNavi 01 背景综述 本文介绍了一种新方法GNNavi，它通过图神经网络（GNN）引导大型语言模型（LLM）中的信息流。大模型在有示例的提示下表现出强大的上下文学习（ICL）能力，但微调对于进一步提高大模型的适应性仍然至关 ………………………………