文章预览
人工与动物能够理解物理世界,具有常识,拥有持久记忆,可以推理,并能规划复杂的子目标和行动序列。这些智能行为的基本特征目前仍超出当前最强大的AI架构(例如自回归大型语言模型,Auto-Regressive LLMs)的能力范围。 我将介绍一种可能通向人类水平AI的认知架构。该架构的核心是一个预测性的世界模型,它使系统能够预测其行动的后果,并规划一系列能够实现设定目标的行动序列。目标可能包括一些确保系统可控性和安全性的“护栏”。世界模型采用了一种联合嵌入预测架构(Joint Embedding Predictive Architecture, JEPA),主要通过观察利用自监督学习(self-supervised learning)进行训练。 JEPA同时学习一个编码器,以提取感知信息中最具信息量的表示,以及一个预测器,用于从当前感知表示和一个可选的行动变量中预测下一个感知的表示。 我们展示了
………………………………