Arxiv 2024 | 十分钟实现四维内容生成

文章预览

摘要 · 看点 在近期的Arxiv上，商汤科技-南洋理工大学联合研究中心S-Lab 、上海人工智能实验室、北京大学与密歇根大学联合提出DreamGaussian4D（DG4D），通过结合空间变换的显式建模与静态3D Gaussian Splatting（GS）技术实现高效四维内容生成。四维内容生成近来取得了显著进展，但是现有方法存在优化时间长、运动控制能力差、细节质量低等问题。 DG4D提出了一个包含两个主要模块的整体框架：1）图像到4D GS - 我们首先使用DreamGaussianHD生成静态3D GS，接着基于HexPlane生成基于高斯形变的动态生成； 2）视频到视频纹理细化 - 我们细化生成的UV空间纹理映射，并通过使用预训练的图像到视频扩散模型增强其时间一致性。 值得注意的是，DG4D将四维内容生成的优化时间从几小时缩短到几分钟（如图1所示），允许视觉上控制生成的三维运动，并支持生成可以在三 ………………………………