Meta: System 2 蒸馏

文章预览

Distilling System 2 into System 1 是Meta在今年7月份刚放到axriv上的一篇文章。 什么是System 2 蒸馏？ 一般来说，蒸馏都是从强一些的教师模型向弱一些的学生模型传递知识。这种情况下，教师模型可以是体积大一些的模型，也可以是多个模型的集成。 这篇文章认为强一些推理方法也可以作为教师。比如：Chain-of-Thoughts、Rephrase and Respond、Branch-Solve-Merge等。作者将这些推理方式称之为System 2，将直接给出答案的推理方式称之为System 1。下面是正式一些的定义： System 1 是指对给定的输入直接给出答案，而不产生中间token。 System 2 是指通过产生中间tokens来增强模型表现的方式，包括进行搜索、多次prompt等。 那为什么要将System 2的结果蒸馏到System 1上？文章指出System 2 给出了显式的推理过程，因而可以得到更加准确的结果，但是同时带来了更高的推理代价，不够实用 ………………………………