可控视频生成{新玩法} | 覆盖“360度动态、4D场景、时空融合、稀疏视图”等众多场景！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区， 用心写好每一篇文章！ “     在计算机图形学和视觉技术的推动下，理解和生成3D和4D内容对于创造逼真的视觉体验任务来说至关重要。 虽然3D和4D重建技术取得了长足的进步，但大规模3D和4D视频数据集仍然严重短缺，它限制了从单个图像生成高质量3D和4D场景的潜力。现有的方法要么专注于在静态或动态网格渲染上训练视频扩散的对象级生成，要么对粗略的场景级生成采用时间密集型的每个场景优化（例如，分数蒸馏采样）。本文介绍了 DimensionX，这是一个旨在通过视频扩散从单个图像生成逼真的3D和4D场景的框架。 该算法首次提出3D场景的空间结构和4D场景的时间演变都可以通过视频帧序列有效地表示。 与之前的方法相比，DimensionX在可控视频生成以及3D和4D场景生成方面取得了优异的结果。 ………………………………