专栏名称: AI大模型学习基地
人工智能AIGC行业探索分享,包括相关技术分享和资讯分享,以及相关商务洽谈合作。
今天看啥  ›  专栏  ›  AI大模型学习基地

大语言模型的情景记忆

AI大模型学习基地  · 公众号  ·  · 2024-09-03 14:36

文章预览

本文介绍了一种名为 POEM ( PrOmpting with Episodic Memory )的新方法,用于优化大型语言模型( LLM )的提示。 POEM 旨在解决现有提示优化方法资源消耗大或性能不足的问题,特别是在少量示例学习的情况下。该方法将提示优化作为强化学习问题处理,利用情景记忆存档输入数据、少量示例的不同排列及训练期间获得的奖励。在测试阶段, POEM 会为每个测试查询选择能够产生最高奖励的示例序列。实验结果显示, POEM 在多种文本分类任务上的表现优于近期的技术,如 TEMPERA 和 RLPrompt ,并且在更广泛的自然语言理解任务中也表现出色,优于传统的启发式方法。此外, POEM 还被证明在效率方面显著优于其他基于强化学习的方法,例如 RLPrompt 和 TEMPERA ,在某些基准测试上训练速度比这些方法快约 150 倍。 1 提示优化技术--POEM 语言模型对其内部结构、输入数据 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览