LLM推理性能受输出格式影响，JSON最严重

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 作者 | 一水 输出格式不同，竟然还能影响大模型发挥？！ 两种提示下让大语言模型（LLMs）解同一道数学题，问题如下： Eliza每周工作的前40小时，每小时的工资是10美元，加班费每小时x1.2。如果Eliza这周工作了45小时，她这周的收入是多少？ 思维链prompt： “按照以下格式提供输出，逐步推理：…回答：最终答案是…”。 格式限制prompt： “按照以下有效的JSON格式提供输出：…（具体JSON格式见图）“。 正确答案是460，可以看出，思维链（让模型一步步思考）奏效，格式限制（“以JSON格式输 ………………………………