活动报名｜DimensionX，港科大 & 清华：从单图像创建一切3D和4D场景，现已开源

文章预览

报告主题： 从可控视频生成到3D和4D场景生成 报告日期： 12 月04日（周三）10:30-11:30 报告要点: 在本文中，我们介绍了DimensionX，一个新颖的框架，旨在仅通过单张图像和视频扩散生成逼真的3D和4D场景。我们的方法始于这样一个认知：3D场景的空间结构和4D场景的时间演变都可以通过视频帧序列有效表示。尽管最近的视频扩散模型在生成生动视觉效果方面取得了显著成功，但在生成过程中由于空间和时间可控性的限制，它们在直接恢复3D/4D场景方面仍面临挑战。为了解决这一问题，我们提出了ST-Director，该方法通过从维度变化的数据中学习维度感知的LoRAs，将视频扩散中的空间和时间因素解耦。这种可控的视频扩散方法能够精确操纵空间结构和时间动态，使我们能够通过结合空间和时间维度，从连续帧中重建3D和4D表示。此外，为了弥合生成视频与现实 ………………………………