又见惊雷，结构化Prompt格式小小变化竟能让LLM性能波动高达76%，ICLR2024

文章预览

点击上方 蓝字 关注我 本文：6000字阅读  15分钟   华盛顿大学和加州大学伯克利分校的研究人员最近发表了一项震惊学界的发现：仅仅改变提示的格式，就可能导致 AI 模型的性能产生高达 76 个百分点的巨大波动。这项ICLR2024上会的研究不仅挑战了我们对 AI 模型鲁棒性的认知，还为提示工程领域开辟了一个全新的研究方向。 图片由修猫创作 之前我曾写过一篇类似的文章，讲的是输出顺序对LLM的影响，有兴趣可以看一下： 往期推荐 一记惊雷：改一下Prompt的输出顺序，就能显著影响LLM的评估结果 01 AI模型对Prompt格式的敏感性 近年来，大型语言模型 (LLMs) 在各种任务中展现出惊人的能力，从回答问题到生成代 码，再 到创作文章。这些模型的性能很大程度上依赖于输入的提示。因此，提示工程 - 即设计和优化这些提示 - 成为了一个关键的研究领域。 ………………………………