AI系统持续学习技术突破：Meta提出LLM快慢思考蒸馏技术

文章预览

大型语言模型（LLMs）可以在推理期间额外消耗计算资源以生成中间思考，这有助于产生更好的最终响应。自从“思维链”（Wei等人，2022年）以来，已经提出了许多这样的系统2技术，例如“重述与回应”（Deng等人，2023a）、“系统2注意力”（Weston和Sukhbaatar，2023年）和“分支-解决-合并”（Saha等人，2023年）。在这项工作中，我们研究了自监督方法，将系统2技术产生的更高质量输出“编译”（蒸馏）回LLM生成，无需中间推理标记序列，因为这种推理已经被蒸馏到系统1中。我们展示了几种这样的技术可以成功蒸馏，与原始系统1性能相比，结果得到改善，并且推理成本低于系统2。我们认为，系统2蒸馏将成为未来持续学习AI系统的重要特性，使它们能够将系统2能力集中在它们尚未做好的推理任务上。 我们翻译解读最新论文：将系统2 蒸馏成系统1，文末 ………………………………