无需视频流实现全景分割与深度估计MGNiceNet：统一的单目几何场景理解

文章预览

Abstract 单目几何场景理解结合了全景分割和自监督深度估计，专注于自动驾驶车辆的实时应用。我们提出了MGNiceNet，一种使用链接内核公式来进行全景分割和自监督深度估计的统一方法。MGNiceNet基于当前最先进的实时全景分割方法RT-K-Net，并扩展了其架构以涵盖全景分割和自监督的单目深度估计。为此，我们引入了一个紧密耦合的自监督深度估计预测器，该预测器明确地利用全景路径中的信息来进行深度预测。此外，我们提出了一种全景引导的运动遮蔽方法，以在不依赖视频全景分割注释的情况下改进深度估计。我们在两个流行的自动驾驶数据集Cityscapes和KITTI上评估了我们的方法。与其他实时方法相比，我们的模型显示出了最先进的结果，并缩小了与计算需求更高的方法的差距。 代码获取 ：https://github.com/markusschoen/MGNiceNet  欢迎加入自动驾驶实战 ………………………………