ICML 2024 | 英特尔开源轻量级涨点神器：KernelWarehouse

主要观点总结

本文主要介绍了一种新的动态卷积方法——KernelWarehouse，该方法通过核分区、仓库构建与共享以及对比驱动的注意力函数等技术，提高了模型参数效率和表示能力。实验结果表明，KernelWarehouse在ImageNet数据集上的多种ConvNet骨干网络上取得了显著的性能提升。

关键观点总结

关键观点1: 介绍KernelWarehouse的基本原理和动机

KernelWarehouse是一种更通用的动态卷积形式，通过核分区、仓库构建与共享等技术，解决现有动态卷积方法在参数效率方面的局限性。

关键观点2: KernelWarehouse的主要技术组件

包括核分区、仓库的构建与共享、对比驱动的注意力函数等。

关键观点3: KernelWarehouse的实验结果

在ImageNet数据集上的多种ConvNet骨干网络上，KernelWarehouse取得了显著的性能提升，并且泛化到MS-COCO数据集的目标检测和实例分割任务。

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 转载自：晓飞的算法工程笔记 动态卷积学习 n 个静态卷积核的线性混合，加权使用它们输入相关的注意力，表现出比普通卷积更优越的性能。然而，它将卷积参数的数量增加了 n 倍，因此并不是参数高效的。这导致不能探索 n>100 的设置（比典型设置 n < 10 大一个数量级），推动动态卷积性能边界提升的同时享受参数的高效性。为此，论文提出了 KernelWarehouse ，通过利用卷积参数在同一层内部以及邻近层之间的依赖关系重新定义了“卷积核”、“组装卷 ………………………………