综述：LLM的上下文学习

文章预览

23年6月来自北大、上海AI实验室和UCSB的综述论文“A Survey on In-context Learning“。 随着大语言模型（LLM）能力的提高，上下文学习（ICL）已成为自然语言处理（NLP）的一种新范式，其中LLM仅基于添加了几个例子的上下文进行预测。 探索ICL来评估和推断LLM的能力已经成为一种新的趋势。 本文旨在调查和总结ICL的进展和挑战。 首先是ICL的定义，并阐明相关研究的关联。 然后，对高级技术进行了组织和讨论，包括训练策略、演示设计策略以及相关分析。 最后讨论了ICL的挑战，并提供了潜在的方向。 如图是上下文学习的说明。ICL需要一段演示上下文，其中包含一些用自然语言模板编写的示例。以演示和查询为输入，大语言模型负责进行预测。 如图是该综述的分类架构： 训练和推理阶段是ICL的两个主要阶段； 在训练阶段，现有的ICL研究主要以预训练的LLM ………………………………