RenderWorld 带有自监督3D标签的世界模型，利用高斯插值和AM-VAE，GPU显存使用量降低一半 ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 从端到端的纯视觉自主驾驶到端，与LiDAR视觉融合相比更具成本效益，同时也比传统方法更可靠。 为了实现经济高效的稳定纯视觉自主驾驶系统，作者提出RenderWorld，一个纯视觉的端到端自主驾驶框架，它使用自监督的高斯基础Img2Occ模块生成3D占用标签，然后通过AM-VAE对标签进行编码，并使用世界模型进行预测和规划。 RenderWorld使用高斯插值来表示3D场景，渲染2D图像大大提高了分割准确性和减少了与NeRF为基础的方法相比的GPU内存消耗。 通过将AM-VAE分别应用于编码空气和非空气，RenderWorld实现了更细粒度的场景元素表示，从而在自回归世界模型驱动的4D占用预测和移动规划方面实现了最先进性能。 I Introduction 随着自动驾驶技术的广泛应用[1 ………………………………