顶会新热点！斯坦福全新架构TTT干翻Mamba和Transformer！

文章预览

点击下方 卡片 ，关注 「3D视觉工坊」 公众号 选择 星标 ，干货第一时间送达 来源：3D视觉工坊 添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群 扫描下方二维码，加入 3D视觉知识星球 ，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料： 近20门视频课程（星球成员免费学习） 、 最新顶会论文 、计算机视觉书籍 、 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！ 0. 这篇文章干了啥？ 2020年，OpenAI的扩展定律论文（Kaplan等人）表明，LSTM（一种RNN）无法像Transformer那样进行扩展，也无法有效地利用长上下文。我们观察到Mamba——当今最流行的RNN之一——的扩展性与强大的Transformer相似，自2020年的LSTM以来取得了巨大进展。然而，我们观察到Mamba存在与Kaplan等人对LSTM的相同问题。序 ………………………………