论文解读 | ECCV2024 HTCL:用于语义场景补全的分层时序上下文

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 点击  阅读原文  观看作者讲解回放！ 作者简介 李博涵 ，上海交通大学、东方理工联培博士生 概述 基于相机的3D语义场景补全（SSC）对于预测复杂的3D布局和有限的2D图像观测至关重要。现有的主流解决方案通常通过大致堆叠历史帧来利用时间信息来补充当前帧，这种直接的时间建模不可避免地减少了有效线索，并增加了学习难度。为了解决这个问题，我们提出了HTCL，这是一种新颖的层次化时间上下文学习范式，用于改进基于相机的语义场景补全。这项工作的主要创新在于将时间上下文学习分解为两个层次化的步骤：（a）跨帧亲和性测量和（b）基于亲和性的动态细化。首先，为了从冗余信息中分离出关键的相关上下文，我们引入了具有尺度感知隔离和多个独立学习器的模式亲和性，用于细 ………………………………