在上下文学习中，语言模型究竟学到了什么? - NICE30期

文章预览

主题 在上下文学习中，语言模型究竟学到了什么? 探索结构化任务假说 时间 2024.10.13 15:00-16:00 周日 入群 论文 ：What Do Language Models Learn in Context? The Structured Task Hypothesis. ( ACL 2024 ) 地址 ：https://arxiv.org/pdf/2406.04216 代码链接: https://github.com/eth-lre/LLM_ICL/ 大纲 导论 假设1: 任务选择 假设2: 元学习 假设3: 结构化任务选择 结论 引言 大型语言模型（LLMs）展现了通过演示中的上下文示例学习新任务的能力，这被称为上下文学习（ICL）。 因此，许多研究致力于揭示ICL背后的理论。 其中一个流行的假设是通过 任务选择 来解释ICL： LLMs基于演示示例识别任务，并将其泛化到提示中。 另一个流行的假设认为ICL是一种 元学习 形式，即模型在预训练时学习一种学习算法，并将其应用于演示示例。 最后，第三种假设认为LLMs利用演示来选择预训练期间学习的 任务组合 ………………………………