DreamGaussian4D：10分钟实现四维内容生成

文章预览

在近期的Arxiv上，商汤科技-南洋理工大学联合 AI 研究中心 S-Lab ，上海人工智能实验室，北京大学与密歇根大学联合提出DreamGaussian4D（DG4D），通过结合空间变换的显式建模与静态3D Gaussian Splatting（GS）技术实现高效四维内容生成。四维内容生成近来取得了显著进展，但是现有方法存在优化时间长、运动控制能力差、细节质量低等问题。 DG4D提出了一个包含两个主要模块的整体框架：1） 图像到4D GS - 我们首先使用DreamGaussianHD生成静态3D GS，接着基于HexPlane生成基于高斯形变的动态生成；2） 视频到视频纹理细化 - 我们细化生成的UV空间纹理映射，并通过使用预训练的图像到视频扩散模型增强其时间一致性。值得注意的是，DG4D将四维内容生成的优化时间从几小时缩短到几分钟（如图1所示），允许视觉上控制生成的三维运动，并支持生成可以在三维引擎 ………………………………