CVPR 2023 | Depth Estimation from Cam Image and mmWave Radar PCD

文章预览

CVPR 2023 | Depth Estimation from Camera Image and mmWave Radar Point Cloud 多模态感知论文阅读笔记：CVPR 2023, Depth Estimation from Camera Image and mmWave Radar Point Cloud picture 0 Abstract 背景 提出一种从摄像机图像和稀疏雷达点云推断密集深度图的方法 Challenge：毫米波雷达点云形成的挑战,如模糊性和噪声   无法正确映射到camera images上 ✅ existing works: overlook the above challenge Proposed approach 设计一个网络将每个雷达点映射到图像平面上可能投影的表面 与现有工作不同,我们不直接处理原始雷达点云,而是查询每个原始点与图像中可能的像素进行关联——产生半密集的雷达深度图 提出带门控融合方案,考虑对应分数的置信度,选择性地结合雷达和相机嵌入来产生密集深度图 Experiments 在NuScenes基准测试中测试方法,平均绝对误差提高10.3%,均方根误差提高9.1% code: https://github.com/nesl/radar-camera-fu ………………………………