主要观点总结
文章介绍了Meta在AI领域的研究进展，通过把AI的“慢思考”结果蒸馏进“快思考”，让Llama2模型表现提升，并详细解释了四种系统2方法：CoT、S2A、RaR和BSM。文章还提到了系统1和系统2的区别和联系，以及为什么需要收集数据去微调系统1模型。最后，文章介绍了针对不同任务的系统2方法的测试结果，包括Llama2超越GPT-4的表现，以及接下来研究的目标。
关键观点总结
关键观点1: Meta通过把AI的“慢思考”结果蒸馏进“快思考”，提升了Llama2模型的表现。
使用了四种系统2方法：CoT、S2A、RaR和BSM，这些方法都是为了将系统2的推理能力转移到系统1。这些方法的共同目标是在未标注数据集上生成推理结果，并将这些结果用于微调系统1模型。
关键观点2: 系统1和系统2的区别和联系。
系统1是简单无意识的直觉，速度更快；系统2则是复杂有意识的推理，准确性更强。Meta的研究是将系统2的推理结果用于微调系统1模型，以提高其表现。
关键观点3: 为什么需要收集数据去微调系统1模型。
直接使用系统2模型进行推理存在速度慢和输出过长的问题，无法满足实时交互和移动设备部署等场景的需求。因此，收集数据去微调系统1模型，使其能够直接生成高质量的输出，成为一种有效的解决方案。
关键观点4: 系统2方法的测试结果。
针对不同任务的系统2方法测试结果显示，Llama2模型的表现大幅进步，甚至超过了GPT-4。其中BSM方法在人类一致性评估中表现最为突出，S2A方法主要解决模型偏见问题，RaR方法则在某些推理任务中表现出色。不过，CoT方法在数学推理任务上的蒸馏效果并不理想。
关键观点5: 研究的不足和下一步研究方向。
当前研究需要进一步明确这种蒸馏的应用场合，找到更类似于人类学习的方式。未来的研究目标是提高系统1模型的表现，尤其是在复杂任务中的表现，并探索更多有效的数据收集和处理方法。
文章预览
《思考快与慢》中人类的两种思考方式，属实是被Meta给玩明白了。 研究人员通过把AI的 “慢思考”结果蒸馏进“快思考” ，让Llama2表现提升了257%，变得比GPT4还能打，同时还能降低推理成本。 这里的快慢两种思考方式，指的就是2002年诺贝尔经济学奖得主丹尼尔·卡尼曼推广的 系统1和系统2—— 简单说，系统1是 简单无意识的直觉 ，速度更快； 系统2则是 复杂有意识的推理 ，准确性更强。 Meta所做的“蒸馏”，就是用系统2生成数据，然后对用系统1推理的模型进行微调。 有网友看了后表示， 这种模式和人类很像，一旦解决了一个难题，再解决（相似的问题）就变得简单了 。 文章转载自「量子位」 01 将系统2蒸馏到系统1 对于大模型而言，模仿人类的“系统2”的方式有很多种，在模型中所处的环节也不尽相同，这里作者一共研究了四种： CoT，即C
………………………………
