文章预览
华中科技大学白翔团队,联合香港大学以及百度,提出了一种基于Linear RNN的全新3D检测框架LION,其性能在Waymo V2 大场景自动驾驶数据集上表现SOTA,且支持当前最主流的Linear RNN算子(RetNet, RWKV, Mamba, xLSTM, TTT)。 写在前面 Transformer在建立长距离关系模型时,其计算成本为输入特征序列长度呈现二次方的关系, 因此,在大规模3D点云感知任务(如3D物体检测)中的优势往往受到限制。相比之下,Linear RNN 的计算复杂度较低,适用于远距离建模。为了实现这一目标,我们提出了一个基于Linear Group RNN(即对grouped特征执行Linear RNN)的简单而有效的3D物体检测框架,称为 LION。与基于Transformer的方法相比,LION 的关键特性是允许在更大的group中进行充分的特征交互。然而,由于Linear Group RNN 在处理空间建模方面的局限性,在高度稀疏的点云中有效应用Linear Group RNN
………………………………