ECCV'24 | OOOPS：零样本实现360度开放全景分割，已开源

主要观点总结

本文介绍了全景图像捕捉及其在场景理解中的重要性。为了解决获取训练用密集标注全景图的高成本和模型在封闭词汇设置下的应用限制问题，论文定义了开放全景分割（Open Panoramic Segmentation，OPS）任务，并提出了一种名为OOOPS的模型。该模型结合了可变形适配器网络（Deformable Adapter Network，DAN），显著提高了零样本全景语义分割的性能。为了进一步增强从针孔源领域的失真感知建模能力，论文提出了一种新的数据增强方法——随机等矩形投影（Random Equirectangular Projection，RERP）。本文还介绍了与全景图像相关的其他技术和挑战，如狭窄的视场、类别范围的限制和全景标签的缺乏。最后，在三个人工全景数据集上的实验证明了OOOPS模型的有效性。

关键观点总结

关键观点1: 引入开放全景分割（OPS）任务，解决获取训练用密集标注全景图的高成本和模型在封闭词汇设置下的应用限制问题。

为了解决全景成像在场景理解中的挑战，如视场扩大导致的性能下降和类别限制等问题，论文定义了开放全景分割任务。该任务旨在通过训练模型在源领域使用视场受限的针孔图像进行训练，并在目标领域使用视场开放的全景图像进行评估，以释放全景图像的潜在优势。

关键观点2: 提出名为OOOPS的模型，结合可变形适配器网络（DAN）提高零样本全景语义分割性能。

OOOPS模型通过结合可变形适配器网络（DAN）来应对开放全景分割任务中的挑战。该模型能够高效地将预训练的模型适配到全景分割任务中，并解决了全景图像中的物体变形和图像失真问题。

关键观点3: 介绍新的数据增强方法——随机等矩形投影（RERP），用于增强模型对针孔源领域失真感知的能力。

为了提高模型对针孔源领域失真感知的能力，论文提出了随机等矩形投影（RERP）方法。该方法专门设计用来解决物体变形和图像失真问题，通过随机打乱针孔图像并进行等距矩形投影来模拟全景图像的失真。

关键观点4: 在三个人工全景数据集上的实验证明了OOOPS模型的有效性。

通过对模型在WildPASS、Stanford2D3D和Matterport3D三个人工全景数据集上的实验评估，证明了OOOPS模型在开放全景分割任务上的有效性。该模型在mIoU性能上取得了显著的提升。

免责声明