大语言模型的情景记忆

文章预览

本文介绍了一种名为 POEM （ PrOmpting with Episodic Memory ）的新方法，用于优化大型语言模型（ LLM ）的提示。 POEM 旨在解决现有提示优化方法资源消耗大或性能不足的问题，特别是在少量示例学习的情况下。该方法将提示优化作为强化学习问题处理，利用情景记忆存档输入数据、少量示例的不同排列及训练期间获得的奖励。在测试阶段， POEM 会为每个测试查询选择能够产生最高奖励的示例序列。实验结果显示， POEM 在多种文本分类任务上的表现优于近期的技术，如 TEMPERA 和 RLPrompt ，并且在更广泛的自然语言理解任务中也表现出色，优于传统的启发式方法。此外， POEM 还被证明在效率方面显著优于其他基于强化学习的方法，例如 RLPrompt 和 TEMPERA ，在某些基准测试上训练速度比这些方法快约 150 倍。 1 提示优化技术--POEM 语言模型对其内部结构、输入数据 ………………………………