OpenAI科学家Jason Wei专访：思维链灵感来源于冥想丨智源独家

文章预览

来源：智源社区 在大模型的研发道路上，思维链、指令微调和智能涌现等关键思想备受关注。 正是思维链技术（Chain of Thought）让大模型能够涌现出一系列神奇的能力，成为了现代大语言模型产生「涌现」的底层技术。 思维链旨在通过向大语言模型展示少量的样例，并通过这些样例解释推理过程，让大语言模型学会在生成答案时展示推理过程，并引导其得到更准确的答案。相当于将黑盒深度学习的多步推理过程的中间步骤拆开，结耦了各个步骤的工作，简化了每一步工作上模型的压力，在提高可解释性的同时提升了模型性能。 研究灵感往往来自某次偶然的一瞥惊鸿，可遇而不可求。 谈起思维链的灵光乍现，CoT提出者Jason Wei表示，他的灵感来源是一本叫做《Waking up》的冥想之书，该书作者为美国无神论者、公共知识分子Sam Harris，从灵修（spirituality ………………………………