ACM 2024，AI也能自然说话！复旦&腾讯优图提出MDT-A2G，可根据语音同步生成手势！

文章预览

复旦 & 腾讯优图等提出MDT-A2G，这是一个专门用来生成与语音同步手势的先进模型。想象一下，当我们说话时，身体自然会做出手势。这个模型的目的是让计算机也能像人类一样，根据说话的内容来生成合适的手势。它的运作方式像是一个人边听边做笔记，只有把真正重要的东西记下来，然后加以整理并用来进行表达。 模型利用语音、文本和情感等多种信息，进行综合分析，然后通过去噪的过程，修正出准确的手势动作。为了更快地得到结果，它还使用了一些聪明的技巧，像是用已知的参考来加速生成过程。所有这些方法使得MDT-A2G能够生成丰富多彩的手势，而不只是单一的动作。这就是这个模型的基本工作原理，让计算机的“表演”更加生动和自然。 相关链接 论文地址：http://arxiv.org/abs/2408.03312v1 项目地址：https://xiaofenmao.github.io/web-project/MDT-A2G/ ………………………………