【德雷塞尔大学】利用LLMs增强自动驾驶中的开放词汇3D场景理解

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2408.03516 摘要 本文介绍了利用LLMs增强自动驾驶中的开放词汇3D场景理解。本文引入了一种用于自动驾驶中开放词汇3D场景理解的新方法，其将语言嵌入3D Gaussians与大型语言模型（LLMs）相结合来增强推理。本文提出利用LLMs来生成上下文相关的规范短语，用于分割和场景解释。本文方法利用LLMs的上下文和语义能力来生成一组规范短语，然后将其与嵌入3D Gaussians中的语言特征进行比较。这种LLM引导的方法显著改进了zero-shot场景理解和感兴趣目标的检测，即使在最具挑战性或者不熟悉的环境中亦是如此。在WayveScenes101数据集上的实验结果表明，本文方法在开放词汇目标检测和分割的精度和灵活性方面超越了最先进的方法。本项工作代表了目前朝着更智能 ………………………………