Prompt工程师的反思：我做错了什么？搞AI应用，终究躲不过Prompt的敏感性和一致性

文章预览

点击上方 蓝字 关注我 本文：6100字阅读15分钟   一段时间以来，大家寄希望于自己写的Prompt，可以开发出很棒的应用。可上点规模测试的时候就会发现：偶尔细微的变化却引发了很多不可思议、令人崩溃的输出错误。对于那些将LLMs整合到自己产品中的开发者来说，这是一个令人头疼的挑战：如何应对LLMs在面对细微的prompt变化时表现出的不一致行为? 图片由xiumaodalle生成 一个欧洲研究机构也关注了这个至关重要的问题：Prompt的敏感性和一致性。《What Did I Do Wrong? Quantifying LLMs’ Sensitivity and Consistency to Prompt Engineering》（2406.12334v1）这两个指标敏感性（Sensitivity）和一致性（Consistency）不仅能帮助研究者更好地理解和评估LLMs的性能，还能帮助研究者在Prompt工程中避开潜在的陷阱。 01 Prompt的敏感性与一致性 1.1 什么是Prompt的敏感性? Prompt的敏感性指的是LLM ………………………………