自监督世界模型！RenderWorld ：GPU显存使用量降低一半 ！

文章预览

作者 | AI 驾驶员  编辑 | 智驾实验室 点击下方 卡片 ，关注“ 自动驾驶Daily ”公众号 戳我->  领取近15个自动驾驶方向路线 >> 点击进入→ 自动驾驶Daily技术交流群 微信扫描以下二维码， 『自动驾驶之心知识星球』 ， 国内最专业的技术和求职交流社区， 和3500人一起卷赢 从端到端的纯视觉自主驾驶到端，与LiDAR视觉融合相比更具成本效益，同时也比传统方法更可靠。 为了实现经济高效的稳定纯视觉自主驾驶系统，作者提出RenderWorld，一个纯视觉的端到端自主驾驶框架，它使用自监督的高斯基础Img2Occ模块生成3D占用标签，然后通过AM-VAE对标签进行编码，并使用世界模型进行预测和规划。 RenderWorld使用高斯插值来表示3D场景，渲染2D图像大大提高了分割准确性和减少了与NeRF为基础的方法相比的GPU内存消耗。 通过将AM-VAE分别应用于编码空气和非空气， ………………………………