LLM推理性能受输出格式影响，JSON最严重

文章预览

一水 发自 凹非寺 量子位 | 公众号 QbitAI 输出格式不同，竟然还能影响大模型发挥？！ 两种提示下让大语言模型（LLMs）解同一道数学题，问题如下： Eliza每周工作的前40小时，每小时的工资是10美元，加班费每小时x1.2。如果Eliza这周工作了45小时，她这周的收入是多少？ 思维链prompt ：“按照以下格式提供输出，逐步推理：…回答：最终答案是…”。 格式限制prompt ：“按照以下有效的JSON格式提供输出：… （具体JSON格式见图） “。 正确答案是 460 ，可以看出，思维链 （让模型一步步思考） 奏效，格式限制 （“以JSON格式输出”） 却失败了！！ 这是台湾大学和Appier AI Research新研究中的一幕，他们发现—— 格式限制这玩意儿会降低LLMs的推理能力，且限制越严推理越差。 （主打一个叛逆） 不过好消息是，能治。 他们发现， 最佳解决方案 是搞个“二 ………………………………