靠Scaling Laws炼出4D版视频生成模型，多伦多大学北交大等携手开源81K高质量数据集

文章预览

Diffusion4D团队 投稿 量子位 | 公众号 QbitAI 只需几分钟、一张图或一句话，就能完成时空一致的4D内容生成。 注意看，这些生成的3D物体，是带有动作变化的那种。也就是在3D物体的基础之上，增加了时间维度的运动变化。 这一成果，名为 Diffusion4D ，来自多伦多大学、北京交通大学、德克萨斯大学奥斯汀分校和剑桥大学团队。 具体而言，Diffusion4D整理筛选了约81K个4D assets，利用8卡GPU共16线程，花费超30天渲染得到了约400万张图片，包括静态3D物体环拍、动态3D物体环拍，以及动态3D物体前景视频。 作者表示，该方法是首个利用大规模数据集，训练视频生成模型生成4D内容的框架， 目前项目已经开源所有渲染的4D数据集以及渲染脚本 。 研究背景 过去的方法采用了2D、3D预训练模型在4D （动态3D） 内容生成上取得了一定的突破，但这些方法主要依赖于分数 ………………………………