补齐Transformer规划短板又不放弃快速思考，田渊栋团队的Dualformer融合System 1和2双重优势

主要观点总结

本文介绍了田渊栋团队提出的Dualformer模型，该模型能够模拟人类的思考过程，通过系统1和系统2的方式实现快速和慢速的推理模式。通过训练模型在迷宫导航任务和推箱子任务上的表现，证明了Dualformer在规划生成和推理速度方面的优势。同时，该模型还能在自动模式下自由确定操作模式，并能在大型语言模型中进行微调，以解决数学问题。

关键观点总结

关键观点1: Dualformer模型的提出

田渊栋团队从人类认知理论中获得了灵感，提出了一种新型Transformer架构：Dualformer。该模型能够模拟人类的思考过程，通过系统1和系统2的方式实现快速和慢速的推理模式。

关键观点2: Dualformer模型的优势

通过训练模型在迷宫导航任务和推箱子任务上的表现，Dualformer在规划生成和推理速度方面表现出优势。在快速模式下，仅输出最终规划；在慢速模式下，还会生成推理轨迹。

关键观点3: Dualformer模型的应用

Dualformer还能在自动模式下自由确定操作模式，类似于人类的决策过程。此外，该模型还能在大型语言模型中进行微调，用于解决数学问题。

文章预览

机器之心报道 编辑：Panda、泽南 一个 token 就能控制模型快些解答或慢点思考。 OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注，甚至让现在的 AI 行业开始放弃卷越来越大的模型，而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此，其从人类认知理论中获得了灵感，提出了一种新型 Transformer 架构：Dualformer。 根据人类认知理论，人类的思考受到两个系统控制： System 1：系统 1，速度快，基于直觉。 System 2：系统 2，速度更慢，更加深思熟虑。 近期有研究表明，如果将系统 2 过程整合进 Transformer 和大型语言模型中，就能显著提升它们的推理能力。尽管如此，如果模型只是模仿系统 2 式的思考过程，那就需要远远更高的计算成本才能完成，同时响应速度也会大幅减慢。 在研究这一难题时，田渊栋团队 ………………………………