提示优化 | PhaseEvo：面向大型语言模型的统一上下文提示优化

文章预览

【摘要】为大型语言模型 (LLM) 制作理想的提示是一项具有挑战性的任务，需要大量资源和专家的人力投入。现有的工作将提示教学和情境学习示例的优化视为不同的问题，导致提示性能不佳。本研究通过建立统一的上下文提示优化框架来解决这一限制，旨在实现提示指令和示例的联合优化。然而，在离散和高维自然语言空间中制定这种优化在收敛和计算效率方面带来了挑战。为了克服这些问题，我们提出了 PhaseEvo，这是一种高效的自动提示优化框架，它将法学硕士的生成能力与进化算法的全局搜索能力相结合。我们的框架采用多阶段设计，结合了基于 LLM 的创新变异算子，以提高搜索效率并加速收敛。我们对 35 项基准任务的方法进行了广泛的评估。结果表明，PhaseEvo 的性能大幅优于最先进的基线方法，同时保持良好的效率。 原文：PhaseEvo: Towards Un ………………………………