清华大学、东北大学提出 DRIVESCaPE: 迈向高分辨率可旋转多视角驾驶视频生成 ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 近年来生成模型的进步为合成逼真的驾驶视频提供了有前景的解决方案，这对训练自动驾驶感知模型至关重要。 然而，现有的方法往往在集成3D信息时遇到困难，同时保持空间-时间一致性并从统一的模型中有效学习，这使得多视视频生成往往受限于每帧2HZ的3D框标注帧率，而作者的DriveScape却能克服这一限制，以稀缺条件下的精确运行能力，实现1024x576的高分辨率视频以10Hz的速度生成。 与其他方法相比，由于作者的双向调制 Transformer （BiMot）可以确保3D结构信息的精确对齐，保持空间-时间一致性。 在与nuScenes数据集的对比中，DriveScape在生成性能方面表现出色，实现了最先进的结果，FID得分为8.34，FVD得分为76.39。代码将在作者的项目主页上 ………………………………