HybridOcc,融合Transformer与NeRF的3D语义场景补,解决无可见 Voxel 遮挡 !

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 基于视觉的3D语义场景补全（SSC）通过3D体积表示来描述自动驾驶场景。然而，场景表面的无可见 Voxel 遮挡为当前的SSC方法在 hallucinating 细化3D几何带来了挑战。 本文提出了一种名为 HybridOcc 的混合3D体积 Query  Proposal 方法，该方法由 Transformer 框架和 NeRF 表示组合而成，并在粗到细的 SSC 预测框架中进行提炼。HybridOcc 通过基于混合 Query  Proposal 的 Transformer 范式聚合上下文特征，同时与 NeRF 表示结合，以获取深度监督。 Transformer 分支包含多个尺度，并使用空间交叉注意力进行2D到3D转换。新设计的 NeRF 分支通过体积渲染隐式地推理场景占用，包括可见和不可见的 Voxel ，并明确捕捉场景深度而不是生成 RGB 颜色。 此外，作者提出了一种创新能 ………………………………