首个4D视频生成扩散模型！Diffusion4D数分钟内实现4D内容生成，超81K的4D数据集已开源！

本文介绍由多伦多大学，北京交通大学，德克萨斯大学奥斯汀分校和剑桥大学团队最新提出的4D生成扩散模型，该方法可以在几分钟之内可以完成时空一致的4D内容生成。Diffusion4D整理筛选了约81K个4D assets，利用8卡GPU共16线程，花费超过30天渲染得到了约四百万张图片，包括静态3D物体环拍、动态3D物体环拍以及动态3D物体前景视频。该方法是首个利用大规模数据集，训练视频生成模型生成4D内容的框架，目前项目已经开源所有渲染的4D数据集以及渲染脚本。相关链接 项目地址：https://vita-group.github.io/Diffusion4D/论文地址：https://arxiv.org/abs/2405.16645论文介绍 研究背景 过去的方法采用了2D、3D预训练模型在4D（动态3D）内容生成上取得了一定的突破，但他们主要依赖于分数蒸馏采样（SDS）或者生成的伪标签进行优化，同时利用多个预训练模型获得监督不可避免 ………………………………