端到端自动驾驶数据仿真论文---MagicDrive3D：自动驾驶街景中任意视图渲染的可控3D生成

文章预览

点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶 & 座舱量产第一线的小伙伴等你加入 作者：Ruiyuan Gao等 解读：AI生成未来       文章链接：https://arxiv.org/pdf/2405.14475 项目链接：https://flymin.github.io/magicdrive3d 虽然可控生成模型在图像和视频方面取得了显著成功，但在自动驾驶等无限场景中，高质量的3D场景生成模型仍然发展不足，主要原因是数据获取成本高。本文介绍了一种名为 MagicDrive3D 的新型pipeline，用于可控的3D街景生成，并支持多条件控制，包括鸟瞰（BEV）地图、3D目标和文本描述。 与先前的在训练生成模型之前进行重建的方法不同，MagicDrive3D首先训练视频生成模型，然后从生成的数据中进行重建。这种创新的方法使得生成过程易于控制，并且可以获取静态场景，从而实现高质量的场景重建。为了处理生成内容中的小 ………………………………