PhysGen：融合物理模拟的图像到视频生成技术

文章预览

PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation 介绍： https://stevenlsw.github.io/physgen/ 代码： https://github.com/stevenlsw/physgen 论文： https://arxiv.org/abs/2409.18964 PhysGen  是一种新颖的图像到视频生成方法，它能够将静态图像转换成具有物理基础和时间连贯性的视频。 该方法的核心在于将基于模型的物理模拟与数据驱动的视频生成过程相结合，从而在图像空间中实现动态模拟。它包含三个关键组件：图像理解模块、图像空间动力学模拟模型和基于图像的渲染与细化模块。图像理解模块负责捕捉图像中物体的几何形状、材料和物理参数；动力学模拟模型则利用刚体物理和推断出的参数来模拟物体的真实行为；最后，渲染模块通过生成视频扩散来产生具有模拟运动的真实感视频。 PhysGen 的输出视频不仅在物理真实性和外观上都具有很高的真实感，而且用户还可以 ………………………………