【SparseEnd2End：采用sparse transformer来端到端感知3D障碍物】

文章预览

《SparseEnd2End: Obstacle 3D Detection and Tracking Architecture Based VisionTransformer》是一个基于Vision Transformer的端到端感知部署解决方案，它主要关注于3D障碍物检测和跟踪。以下是该研究的主要方法和特点： 1. 端到端感知范式：SparseEnd2End采用了稀疏变换器（sparse transformer）来感知3D障碍物，实现了从输入到输出的端到端感知范式。 2. 简化的依赖和部署：该仓库没有复杂的依赖，不需要安装MMDetection3d、mmcv、mmcv-full、mmdeploy等，使得在本地工作站或超级计算GPU集群上安装变得容易。 3. 支持多种硬件平台：提供了x86（NVIDIA RTX系列GPU）和ARM（NVIDIA ORIN）的部署解决方案，允许用户在不同的硬件平台上部署端到端模型。 4. 算法架构：SparseEnd2End的算法框架遵循编码器-解码器结构，输入主要包括多视图图像、新初始化的实例和从前一帧传播的实例。输出是经过细化的 ………………………………