Combo：来自阿里巴巴的语音驱动3D人体动作生成与个性化定制框架

文章预览

Combo: Co-speech holistic 3D human motion generation and efficient customizable adaptation in harmony 介绍： https://xc-csc101.github.io/combo/ 论文： https://www.arxiv.org/abs/2408.09397 Combo  是一个创新的框架，由阿里巴巴联合清华大学、卡内基梅隆大学和浙大的研究人员共同打造。它旨在生成与语音同步的全身3D人体动作，并实现个性化的高效定制。 它通过一个双分支的变换器设计——DU-Trans，分别学习面部表情和身体动作的特征，再将这些特征合并，以学习联合双向分布并直接预测协调的面部和身体动作系数。此外，Combo引入了X-Adapter，这是一个用于参数高效微调的即插即用适配器，能够灵活地适应不同的身份和情感条件，使得数字头像能够根据语音信号和角色条件（如身份和情感）生成自然、协调的全身动作。 Combo 的特点在于其处理多输入多输出问题的能力，它能够同时处理语 ………………………………