HoloDrive: 用于自动驾驶的整体2D-3D多模态街道场景生成 ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 生成模型显著提升了自动驾驶领域的相机图像或激光点云生成和预测质量。然而，现实中的自动驾驶系统通常使用多种输入模态，包括相机和激光雷达，这些传感器提供的信息互补，有助于生成更加准确的结果。 现有的生成方法忽略了这一关键特征，导致生成结果只能覆盖单独的2D或3D信息。为了填补2D-3D多模态联合生成的空白，本文提出了一种名为HoloDrive的框架，旨在联合生成相机图像和激光点云。 作者在这两个异构生成模型之间采用了BEV-to-Camera和Camera-to-BEV转换模块，并在2D生成模型中引入了一个深度预测分支，以消除从图像空间到BEV空间的未投影歧义，然后通过添加时间结构并精心设计逐步训练方法来预测未来。 此外，作者在单帧 ………………………………