上交大提出 FlatFusion ，在 Transformer架 构中实现摄像头与激光雷达的精准集成 ！

文章预览

ADAS  Laboratory 点击上方 蓝字 关注  智驾实验室           加入【 智驾实验室 】交流群， 获取更多内容和资料 在自动驾驶场景中，将来自多种传感模态（例如摄像头和激光雷达）的数据进行集成是一种普遍的做法。最近在高效的点云Transformer中的进步强调了在稀疏格式中集成信息的有效性。在融合方面，由于图像块在像素空间中是密集的，具有模糊的深度，因此需要额外的设计考虑来实现有效融合。 在这篇论文中，作者对基于Transformer的稀疏摄像头激光雷达融合的设计选择进行了深入探讨。这一调查涵盖了图像到3D映射和激光雷达到2D映射策略，注意力邻域分组，单模态标记器，以及Transformer的微观结构。 通过整合作者通过调查发现的最有效的原则，作者引入了FlatFusion，这是一个精心设计的稀疏摄像头激光雷达融合框架。 值得注意的是，FlatFusion ………………………………