某机构：JSON 输出会让 AI 变笨！大佬：是你们太菜了

文章预览

大数据文摘授权转载自夕小瑶科技说 事情是这样的。 近期，知名研究机构 Appier AI Research 和国立台湾大学，联合发表了一篇论文： 这篇论文声称类似 Json 的这类结构化输出的指令，会导致大模型发生降智现象—— 如上图所示，在表现最差的任务上，结构化生成（JSON 模式）的准确率甚至低于 10%，而非结构化 Natural Language （NL）结果的准确率约为 70%。 论文链接： https://arxiv.org/abs/2408.02442 论文一经发出，在外网引起大量争议。 而小鲤也看着自己手头的一堆 JSON、XML、YAML 结构化输出的大模型陷入了沉思。 不过，很快就有大佬站出来了。 直接写了一篇名为"Say What You Mean: A Response to 'Let Me Speak Freely'"的长博文，对这篇论文的结论展开了不留情面、有理有据的炮轰，用铁证推翻“_Speak Freely_”论文的实验结论。证明了不是大模型效果不行，是你的 prompt 水 ………………………………