自动化提示工程综述：一种优化视角

文章预览

基础模型的兴起使得研究重点从资源密集型的微调转向了提示工程（Prompt Engineering），这一范式通过输入设计而非权重更新来引导模型行为。尽管手动提示工程在可扩展性、适应性和跨模态对齐方面存在局限性，但自动化方法，如基于基础模型（FM）的优化、进化方法、基于梯度的优化以及强化学习，提供了有希望的解决方案。然而，现有的综述大多在不同模态和方法论之间碎片化。本文首次通过统一的优化理论视角，全面综述了自动化提示工程。我们将提示优化形式化为在离散、连续和混合提示空间上的最大化问题，并按照优化变量（指令、软提示、示例）、任务特定目标和计算框架系统地组织了相关方法。通过将理论公式与文本、视觉以及多模态领域的实际实现相结合，本综述为研究人员和实践者建立了一个基础框架，并突出了约束优化和面 ………………………………