以人为中心的基础模型：感知、生成与代理建模

文章预览

人类理解与生成对于数字人类和类人化身建模至关重要。近年来，受大规模语言模型和视觉模型等通用模型成功的启发， 以人为中心的基础模型 （HcFMs）应运而生，旨在将多样化的人类中心任务统一到一个框架中，超越了传统的任务特定方法。在这篇综述中，我们通过提出一个分类法，对当前的HcFM方法进行全面概述，分为四个类别：（1） 以人为中心的感知基础模型 ，捕捉用于多模态二维和三维理解的细粒度特征；（2） 以人为中心的AIGC基础模型 ，生成高保真度、多样化的人类相关内容；（3） 统一感知与生成模型 ，将这些能力集成，以增强人类理解与合成；（4） 以人为中心的代理基础模型 ，超越感知与生成，学习类人智能和互动行为，应用于类人化身任务。我们回顾了最前沿的技术，讨论了新兴挑战和未来的研究方向。本综述旨在为研究人 ………………………………