StructLDM：高质量可控3D生成并支持编辑。

文章预览

三维数字人生成和编辑在数字孪生、元宇宙、游戏、全息通讯等领域有广泛应用。传统三维数字人制作往往费时耗力，近年来研究者提出基于三维生成对抗网络（3D GAN）从 2D 图像中学习三维数字人，极大提高了数字人制作效率。这些方法往往在一维隐向量空间建模数字人，而一维隐向量无法表征人体的几何结构和语义信息，因此限制了其生成质量和编辑能力。 针对此问题，南洋理工大学提出了结构化隐空间扩散模型（Structured Latent Diffusion Model）的三维数字人生成新范式 StructLDM， 这是一种从 2D 图像集合中生成 3D 人体的新范式（与现有的 3D GAN 相比），具有 3 个关键设计： 结构化 2D 潜在空间； 结构化自动解码器； 结构化潜在扩散模型。 StructLDM 生成多样化的视图一致的人类，并支持不同级别的可控生成和编辑，例如通过混合从 a) 中选择的五个部 ………………………………