基于窗口的 Transformer 架构，SD Transformer 用于深度完成的高效端到端转换器 ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 深度补全旨在利用深度传感器从稀疏深度测量预测密集深度图。目前，基于卷积神经网络（CNN）的模型是深度补全任务最常用的方法。然而，尽管在高端性能方面表现出色，但它们在表示区域内存在局限性。 为了克服CNN的不足，提出了一种更有效、更强大的方法：自注意力模型，即Transformer。虽然标准Transformer将关键 Query 点乘输入分辨率的自注意力成本以四倍增加，这在深度补全任务中不合理地占用计算资源，但本研究提出的Sparse-to-Dense Transformer（SDformer）使用基于窗口的Transformer架构可以更好地解决深度补全问题。网络由输入模块、提取深度特征和RGB图像特征的输入模型、U型编码器解码器Transformer以及精炼模块组成。 具体而言，作者首 ………………………………