基于窗口的 Transformer 架构，SD Transformer 用于深度完成的高效端到端转换器 ！

主要观点总结

本文介绍了一种基于自注意力机制的端到端神经网络SDformer，用于深度补全任务。该网络结合长程深度信息和局部上下文的优势，实现了对密集深度预测的竞争性性能。在NYU深度V2和KITTI数据集上的实验结果表明，SDformer在参数数量和计算效率方面均表现出优势。

关键观点总结

关键观点1: SDformer模型介绍

SDformer是一种基于自注意力机制的端到端神经网络，用于深度补全任务。它采用基于不同窗口的多尺度自注意力（DWSA）和门控前馈网络（GFFN）架构，结合长程深度信息和局部上下文的优势。

关键观点2: 实验数据与结果

在NYU深度V2和KITTI数据集上的实验结果表明，SDformer在参数数量和计算效率方面均表现出优势。对于NYU深度V2数据集，SDformer的参数数量约为677万，而最先进的模型通常需要更多参数。对于KITTI数据集，SDformer的参数数量约为144万，与最先进模型相比具有更好的性能。

关键观点3: 消融实验

通过消融实验，作者验证了SDformer块、精炼块、编码器层的第一维数和扩展数量对模型性能的影响。实验结果表明，通过增加SDformer块、维度和扩展数量，RMSE误差可以降低。

关键观点4: 结论

本文提出的SDformer模型在深度补全任务中实现了先进的性能，并具有参数和计算效率方面的优势。此外，作者还提到了自动驾驶之星的交流社区以及相关的学习资料和优惠活动。

文章预览

自动驾驶之星 点击上方 蓝字 关注 自动驾驶之星 点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入 深度补全旨在利用深度传感器从稀疏深度测量预测密集深度图。目前，基于卷积神经网络（CNN）的模型是深度补全任务最常用的方法。然而，尽管在高端性能方面表现出色，但它们在表示区域内存在局限性。 为了克服CNN的不足，提出了一种更有效、更强大的方法：自注意力模型，即Transformer。虽然标准Transformer将关键 Query 点乘输入分辨率的自注意力成本以四倍增加，这在深度补全任务中不合理地占用计算资源，但本研究提出的Sparse-to-Dense Transformer（SDformer）使用基于窗口的Transformer架构可以更好地解决深度补全问题。网络由输入模块、提取深度特征和RGB图像特征的输入模型、U型编码器解码器Transformer以 ………………………………