在CV界，传统卷积已经彻底输给Transformer了吗？

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 链接：https://www.zhihu.com/question/531529633 编辑：深度学习与计算机视觉 声明：仅做学术分享，侵删 作者：知乎用户 https://www.zhihu.com/question/531529633/answer/2473781572 是，输得很惨，我现在一看到面试者对Transformer一脸热情过度的样子都有点PTSD了 前面波尔德已经讲得很好了，Transformer冲击SOTA有用，但工业界不可能去用SOTA。既然是工业界，做什么都得考虑个成本，Transformer一上，就意味着推理时间，训练时间，调试时间成倍的增加。 推理时间翻倍，意味着硬件成本翻倍，也意味着同样的硬件能同时跑的模型变少。大部分硬件不支持意味着高效率硬件用不上，只能使用少数厂商的硬件，这就意味着硬件被人卡脖子。功耗成本增加也是问题。 训练时间翻倍，意味着迭代次数减少 ………………………………