斯坦福 |提出多阶段LLM编程指令示例优化器：MIPRO，复杂任务准确率提升13%！

文章预览

点击上方 “ AINLPer “ ，设为 星标 更多干货，第一时间送达 引言 通过模块化语言模型调用，并组成pipleines来解决复杂任务，极大的推动了NLP任务的发展（下图为prompt优化样例）。在此过程中需要对每个模块设计有效的prompt。为此本文作者重点研究了LLM编程的prompt优化，旨在通过优化提示来最大化下游任务指标。 作者将复杂问题分解为优化每个模块的指令提示，并引入了几种策略来制作基于任务的指令，并开发了一种新型优化器MIPRO，使用Llama3-8B在多个项目上都得到了不错的效果，且最高可提升13%的准确率。 https://arxiv.org/pdf/2406.11695 背景介绍 使用语言模型（LM）来解决复杂的任务，通常需要应用高级的提示技术（prompting techniques）并将它们组合成多阶段的流程（multi-stage pipelines）。尽管如此，当前的LM程序大多是通过“提示工程”（prompt engineering ………………………………