英伟达和斯坦福基于 Transformer 的异常检测最新研究！

文章预览

在作者推动各种视觉任务性能边界的同时，模型的大小也在相应增长。为了跟上这种增长，作者需要在边缘设备上进行高效推理和部署的非常激进的剪枝技术。 现有的剪枝方法仅限于通道剪枝，并且在大幅减少参数时遇到困难。在本文中，作者提出了一种新颖的多维剪枝框架，它可以在遵守延迟约束的同时，跨通道、层和块联合优化剪枝。 作者开发了一种能够准确捕捉剪枝期间全模型延迟变化的延迟建模技术，这对于在高剪枝比下实现延迟-准确度最优权衡至关重要。 作者将剪枝重新定义为混合整数非线性规划（MINLP），以高效地仅通过一次遍历确定最优剪枝结构。作者广泛的结果表明，与之前的方法相比，特别是在大剪枝比下，作者的方法有显著改进。 在分类任务中，作者的方法在Top-1准确度上显著优于HALP，达到 70.0 （对比68.6），并且在每秒 ………………………………