多模态数字人建模、合成与驱动综述

文章预览

来源：专知 本文 为论文介绍 ，建议阅读 5 分钟 本文讨论在图形学和视觉领域比较重要的多模态人头动画、多模态人体动画以及多模态数字人形象构建3个主题，介绍其方法论和代表工作。 多模态数字人是指具备多模态认知与交互能力，且有类人的思维和行为逻辑的真实自然虚拟人。近年来随着计算机视觉与自然语言处理等领域的交叉融合以及蓬勃发展，相关技术取得显著进步。本文讨论在图形学和视觉领域比较重要的多模态人头动画、多模态人体动画以及多模态数字人形象构建3个主题，介绍其方法论和代表工作。在多模态人头动画主题下介绍语音驱动人头和表情驱动人头两个问题的相关工作。在多模态人体动画主题下介绍基于循环神经网络（recurrent neural networks，RNN）的、基于Transformer的和基于降噪扩散模型的人体动画生成。在多模态数字人形象 ………………………………