专栏名称: arXiv每日学术速递
跟踪计算机视觉、人工智能、机器学习、NLP、语音识别、量化金融等热门方向学术信息
今天看啥  ›  专栏  ›  arXiv每日学术速递

刷爆Waymo&nuScenes等四大榜单!LION:全新基于Linear RNN的3D检测框架横空出世!

arXiv每日学术速递  · 公众号  ·  · 2024-08-04 16:40

文章预览

华中科技大学白翔团队,联合香港大学以及百度,提出了一种基于Linear RNN的全新3D检测框架LION,其性能在Waymo V2 大场景自动驾驶数据集上表现SOTA,且支持当前最主流的Linear RNN算子(RetNet, RWKV, Mamba, xLSTM, TTT)。 写在前面 Transformer在建立长距离关系模型时,其计算成本为输入特征序列长度呈现二次方的关系, 因此,在大规模3D点云感知任务(如3D物体检测)中的优势往往受到限制。相比之下,Linear RNN 的计算复杂度较低,适用于远距离建模。为了实现这一目标,我们提出了一个基于Linear Group RNN(即对grouped特征执行Linear RNN)的简单而有效的3D物体检测框架,称为 LION。与基于Transformer的方法相比,LION 的关键特性是允许在更大的group中进行充分的特征交互。然而,由于Linear Group RNN 在处理空间建模方面的局限性,在高度稀疏的点云中有效应用Linear Group RNN ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览