华中科技 & 北航 & 清华 & 上海 AI Lab 提出 BIG.LITTLE Transformer ，用于高效视觉识别 ！

文章预览

在本文中，作者提出了大.小视觉 Transformer ，这是一种创新架构，旨在实现高效视觉识别。 该双 Transformer 系统由两个不同的模块组成：大性能模块，具有高容量和大量计算需求，以及小效率模块，设计用于速度，容量较低。 作者方法的关键创新在于其动态推理机制。在处理图像时，作者的系统确定每个 Token 的重要性，并相应地分配它们：重要 Token 由高性能大模型处理，而较不重要的 Token 由更高效的小模型处理。 这种选择性处理显著降低了计算负载，同时没有牺牲模型的整体性能，因为它确保了详细分析只保留最重要的信息。为了验证大.小视觉 Transformer 的有效性，作者在图像分类和任何东西分割任务上进行了全面的实验。 作者的结果表明，大小架构不仅保持了高精度，还实现了显著的计算节省。具体来说，作者的方法通过动态平衡性能和效率 ………………………………