SC4D: 基于稀疏控制点的单视角视频到4D生成及运动迁移框架

文章预览

关注公众号，发现CV技术之美 本篇分享论文 SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer ，华中科技大学、阿里达摩院提出 SC4D: 基于稀疏控制点的单视角视频到 4D 生成及运动迁移框架。 项目主页：https://sc4d.github.io/ 代码仓库：https://github.com/JarrentWu1031/SC4D 论文链接：https://arxiv.org/abs/2404.03736 1. 背景 1.1  任务设置 4D生成目标在于生成一个动态的物体或场景，当给定一个时间相关的相机轨迹时，通过对得到的4D目标进行投影可以渲染出相应的动态视频。本文针对的任务为从一个单视角视频中生成对应的动态物体，由于输入是单视角视频，目标物体有大面积不可见区域，保持生成动态物体与参考视频的高对齐度、时空一致性和动作的合理性十分具有挑战。 1.2 相关方法 由于当下真实4D数据的稀缺，直接生成4D物体是非常困难的。得益于近两年2D/3D基 ………………………………