【北京邮电大学和华盛顿大学】自动驾驶中的开放3D世界

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2408.10880 摘要 本文介绍了 自动驾驶中的开放3D世界。开放词汇感知能力代表了自动驾驶系统的重大进步，有助于实时理解和解释各种文本输入。尽管对2D计算机视觉中的开放词汇任务进行了广泛的研究，但是这类方法应用于3D环境（特别是在大规模户外环境中）仍然相对不成熟。本文提出了一种将激光雷达传感器获取的3D点云数据与文本信息相结合的新方法。本文主要着重于利用文本数据来直接定位和识别自动驾驶环境中的目标。本文引入了一种将鸟瞰图（BEV）区域特征与文本特征融合的高效框架，从而使系统能够无缝适应新的文本输入，并且增强开放词汇检测任务的鲁棒性。通过在新引入的NuScenes-T数据集上进行广泛实验，对所提出方法的有效性 ………………………………