麻省理工创新模型：用2D视频扩散，生成 3D 视频

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 传统的3D 视频生成主要有两种方法，一种是通过2D 视频模型和静态 3D 场景模型的分类器指导来优化动态3D 视频场景表示，不过这种对算力的需求极大，生成一个 3D 视频需要数小时； 另一种是通过变形初始 3D 场景表示来实现，但需要严格的时间结构并且需调整复杂的参数。 为了解决这些难题，麻省理工、Databricks 马赛克科研所和康奈尔大学联合推出了创新模型Vid3D。该模型假设无需明确建模 3D 时间动态，通过生成2D视频的时序动态轮廓，然后独立地为视频中的每一帧生成3D表示，而无需考虑前后帧之间的时间连贯性。 论文地址：https://arxiv.org/abs/2406.11196 简单来说， 就像在制作动画电影时，先绘制 ………………………………