鱼眼相机变普通相机？利用Transform进行球面变换

文章预览

Abstract 高分辨率广角鱼眼图像在自动驾驶等机器人应用中变得越来越重要。然而，使用普通的卷积神经网络或视觉变换器处理这类数据时会遇到问题，因为在将其投影到平面上的矩形网格时会引入投影和失真损失。为了解决这个问题，我们引入了HEAL-SWIN变换器。HEAL-SWIN将天文学和宇宙学中常用的高度均匀的Hierarchical Equal Area iso-Latitude Pixelation (HEALPix)网格与Hierarchical Shifted-Window (SWIN)变换器结合，创建了一个高效灵活的模型，能够在高分辨率、无失真的球面数据上进行训练。在HEAL-SWIN中，利用HEALPix网格的嵌套结构来执行SWIN变换器的补丁和窗口操作，使网络能够以最小的计算开销处理球面表示。我们展示了我们的模型在合成和真实汽车数据集以及其他图像数据集上的优越性能，包括语义分割、深度回归和分类任务。 代码地址： https://github.com/JanEGerken/HE ………………………………