李飞飞多模态模型新作！实现动作与语言的统一理解

文章预览

论文题目：The Language of Motion: Unifying Verbal and Non-verbal Language of 3D Human Motion 论文地址：https://arxiv.org/pdf/2412.10523 代码：https://languageofmotion.github.io/ 创新点 本文首次提出将语言模型应用于统一人类运动的语言（verbal language）和非语言（non-verbal language）的生成与理解。该框架能够处理文本、语音和运动数据，并将它们作为输入或输出，实现多模态之间的转换。 本文设计了一种新颖的多模态预训练策略，包括身体运动对齐（spatial and temporal body motion alignment）和语音-文本对齐（audio–text alignment）。通过这些任务，模型能够学习不同模态之间的内在关联。 本文提出了可编辑手势生成（editable gesture generation）任务，允许用户通过文本或语音指令编辑特定身体部位的动作（如上半身或下半身）。这一功能为虚拟角色的运动控制提供了更高的灵活性，例如在游 ………………………………