无需prompting技巧，CoT在解码路径之中自然地显现出来

文章预览

Chain-of-Thought Reasoning Without Prompting 无需prompting技巧，CoT在解码路径之中自然地显现出来 ‍‍‍‍‍‍‍‍‍ ‍‍‍‍‍ 这篇deepmind的文章有点日子了，论文背景是大模型的推理能力通常需要用一些比如CoT的prompting技术激发出来，尽管这些方法有效， 但总牵扯到大量的prompting engineering 。这篇文章就提出， CoT推理路径能够通过简单地“变换解码过程”从预训练LLM中激发出来 （而无需任何prompt技巧），使用这种方法后能在各种推理榜单上看到模型表现相 比于贪心算法 的效果有了显著增强。 例子见figure1，对于这个数学问题，8是最终的答案，模型用贪心解码生成前五个token后，再接着每个token继续做贪心解码，右下角的图标是模型对生成内容的确信程度(confidence)，可以看到 越是偏向certain则越正确，且生成的句子也偏长 （含有推理链条）。更多的例子 ………………………………