文章预览
↑ 点击 蓝字 关注极市平台 作者丨AI视界引擎 来源丨AI视界引擎 编辑丨极市平台 极市导读 使用专家混合(Mixture-of-Experts, MoE)来简化而非增强视觉 Transformer 。 >> 加入极市CV技术交流群,走在计算机视觉的最前沿 在本文中,作者探讨了一种策略,该策略使用专家混合(Mixture-of-Experts, MoE)来简化而非增强视觉 Transformer 。MoE层中的每个专家都是一个SwiGLU前馈网络,不采用复杂的注意力或卷积机制。 逐深度缩放被应用于逐步减少隐藏层的大小,并且分阶段增加专家的数量。使用了分组 Query 注意力。作者研究了在小数据集上进行预训练和不进行预训练的所提方法,并探讨了在这种规模下迁移学习是否有效。作者发现,即使参数量仅有0.67M,该架构也具有竞争力。 1 Introduction 在计算机视觉的实际应用中,例如边缘智能,小型且性能高效的模型仍然
………………………………