音乐驱动长序列舞蹈生成新突破！清华大学提出Lodge，解决短时难题 | 一作李镕辉博士主讲预告

主要观点总结

本文主要介绍了清华大学在读博士李镕辉提出的Lodge网络，该网络能够在给定音乐条件下生成极长舞蹈序列。文章阐述了现有舞蹈生成技术在处理长序列舞蹈时的挑战，以及Lodge网络如何通过两阶段扩散实现长舞蹈序列生成的方法。

关键观点总结

关键观点1: 舞蹈生成技术的挑战

实际应用中的舞蹈表演时长较长，现有舞蹈生成技术难以生成高质量的长序列舞蹈动作，需要在保证动作细节的同时，捕捉舞蹈的全局结构并生成流畅且富有表现力的长时序列舞蹈。

关键观点2: Lodge网络的特点

Lodge网络采用两阶段粗到细的扩散架构，引入特征舞蹈原语，有效平衡全局编舞模式与局部动作的质量和表现力，能够并行化完成极长的舞蹈序列生成。

关键观点3: Lodge网络的具体实现

Lodge网络通过全局扩散阶段提取音乐节奏和结构信息，生成稀疏的特征舞蹈原语，再通过局部扩散阶段以舞蹈原语为引导生成细节丰富的短舞蹈片段，最终生成高质量长舞蹈序列。

关键观点4: 实验与结果

Lodge网络在FineDance和AIST++数据集上进行实验，取得了最先进结果。能够并行生成符合编舞规则的舞蹈，保持局部细节和物理真实感，且推理时间不会因生成更长的舞蹈序列而显著增大。

文章预览

近年来，生成式人工智能技术的迅猛发展使得高质量的短时舞蹈生成成为可能。然而，实际应用中的舞蹈表演通常远超这一时长，社交舞一般持续3至5分钟，舞蹈剧甚至可能长达15分钟以上。这使得现有的舞蹈生成方法在处理长序列舞蹈时面临诸多挑战，特别是在生成高质量的长序列舞蹈动作方面，现有技术尚难满足实际需求。因此，如何在保证动作细节的同时，捕捉舞蹈的全局结构并生成流畅且富有表现力的长时序列舞蹈，成为一个待解决的核心问题。 针对上述问题，清华大学在读博士李镕辉提出了Lodge，一个能够在给定音乐条件下生成极长舞蹈序列的网络。Lodge采用了两阶段粗到细的扩散架构，并引入了一种具有显著表现力的特征舞蹈原语，作为连接两个扩散模型的中间表示。这一设计有效平衡了全局编舞模式与局部动作的质量和表现力，使得 ………………………………