像Sora一样，用物理模拟方式生成视频

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 麻省理工学院、斯坦福大学、哥伦比亚大学、康奈尔大学的研究人员联合开源了创新3D交互视频模型——PhysDreamer（简称“PD”）。 PD和OpenAI的Sora一样，是一个可以通过物理模拟的方式来生成视频。也就是说，PD的视频具备很多物理世界的特征。 例如，用手去触摸一盆花后，花朵会左右摇摆直至缓慢停止。PD可以准确地捕捉到物体很多微妙的动态变化和复杂的交互细节，生成的视频也就更加精准、细腻。 PD案例展示 PD主要通过视频生成模型学习到的动态先验知识，来评估静态3D对象的物理材质属性。在大量视频训练数据的帮助下，可捕捉到物体外观和动态之间的关系。 从而帮助PD推断出驱动物体动 ………………………………