你以为的LLM上下文学习超能力，究竟来自哪里，ICL的内部机制如何 |最新发布

文章预览

点击上方 蓝字 关注我 本文：5400字阅读  14分钟   上下文学习 (In-Context Learning ， ICL) 是指 LLMs 能够仅通过提示中给出的少量样例，就迅速掌握并执行新任务的能力。这种 “超能力” 让 LLMs 表现得像是一个 " 万能学习者 " ，能够在各种场景下快速适应并产生高质量输出。然而，关于 ICL 的内部机制，学界一直存在争议。 长期以来，关于ICL的内部机制，学界存在两种主要观点：有一部分人认为这是模型的"元学习"(meta-learning)能力，即模型能够从少量样例中学习任务的分布函数；还有一部分人则认为这更像是一种"知识检索"(knowledge retrieval)过程，模型利用样例激活已有知识并应用到新任务中。 然而，这项新研究提出了一个超越二元对立的观点：ICL机制实际上是知识检索和学习的动态结合，而非简单的二选一。那么，事实究竟如何？密歇根州立大学和佛 ………………………………