爱丁堡 | 混合上下文学习MOICL，动态选择最优提示，LLM准确度更高，计算效率更强

文章预览

点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 引言 无需对大模型进行微调，上下文学习主通过给大模型（LLM）提供相关示例来实现希望的输出。面对大量的示例，大模型照单全收，随着示例越来越多，就会导致Transformer LLM的复杂度呈平方级增长，进而消耗大量的内存资源。 为此，今天分享的这篇文章针对此问题提出了“混合上下文学习”（MOICL）模型。通过 「动态判断不同示例集对任务贡献」 ， 选择最优提示，进而减少示例数量来缩短推理时间 ，相比一些基线ICL和LENS在准确度大幅提升，且在计算效率上提升了13%。 论文：https://arxiv.org/pdf/2411.02830 背景介绍 上下文学习（ICL）是一种让大型语言模型（LLM）基于一组输入-输出示例来执行各种任务的技术，它在自然语言处理领域带来了重要的进展。曾经一度有人提出，只要大模型支持 ………………………………