MyGo 在通用相机控制视频生成和多视图驾驶视频生成任务上实现最先进的结果!

文章预览

自动驾驶之星 欢迎关注自动驾驶之星 点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入 高质量的高速驾驶视频生成对于自主驾驶模型的训练数据至关重要。然而，当前的生成模型很少关注在多视图任务下的相机运动控制，而这是实现相机控制和多视图一致性的关键。 为了改善这个问题，作者提出MyGo，这是一个端到端的视频生成框架，引入了车载摄像头运动作为条件，以实现摄像控制和多视图一致性的进步。 MyGo通过额外的插件模块将相机参数注入预训练的视频扩散模型，尽可能保留预训练模型的大量知识。此外，在生成过程中使用相交线约束和邻居视图信息可以提高空间-时间一致性。 实验结果表明，MyGo在通用相机控制视频生成和多视图驾驶视频生成任务上都实现了最先进的结果，为自动驾驶中 ………………………………