用于人工通用智能（AGI）的大型语言模型：基础原则和方法综述

文章预览

摘要 —基于大规模预训练基础模型（PFMs）的生成性人工智能（AI）系统，如视觉-语言模型、大型语言模型（LLMs）、扩散模型和视觉-语言-行动（VLA）模型，已经展示了在广泛领域和情境中解决复杂且真正非平凡的AI问题的能力。特别是，多模态大型语言模型（MLLMs）通过从大量且多样的数据源中学习，能够提供丰富且细致的世界表示，从而具备广泛的能力，包括推理、进行有意义的对话、与人类及其他代理共同协作解决复杂问题，并理解人类的社会和情感方面。尽管取得了这一令人印象深刻的成就，但基于大规模数据集训练的最先进LLMs的认知能力仍然表面化且脆弱。因此，通用LLMs在其通才能力方面存在严重限制。要使LLMs实现人类级别的通用智能，需要解决一些基础性问题——具身性、符号基础、因果性和记忆机制。这些概念更符合人类认知，并 ………………………………