GroundingDino—多模态大模型赋能智能座舱

文章预览

点 击 下 方 卡 片 ， 关 注 “ 自 动 驾 驶 之 星 ” 这 里 有 一 群 奋 斗 在 自 动 驾 驶 量 产 第 一 线 的 小 伙 伴 等 你 加 入 前言 智能座舱的CV任务离不开目标检测，例如手势、行人、机动车等。本帖介绍一种跨模态大模型的预标注工具Grounding-Dino，只需要用少量数据进行finetune，就可以用于特定下游任务数据的预标注，精度很不错，现已用于手势识别，车外行人、机动车、非机动车检测任务的预标注中。 Grounding-Dino中的Bert是一种比较早的语言模型，用于提取包含上下文信息的文本特征；图像特征提取的backbone用的是swin-transformer；目标检测模块使用的是Dino-Detr，这个领域经过几年的发展从最开始引入transformer的Detr，到后续的DAB ，Deformable，Denoise ，Dino Detr，已经从性能和训练速度上得到了大幅提升，且Detr like结构的可解释性越来越强；除此之外， ………………………………