ECCV 2024 | 全新激活函数！涨点神器！DiTAC：可训练的高表达激活函数

文章预览

点这里 👇 关注我，记得标星，么么哒～ 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 来源：晓飞的算法工程笔记 非线性激活函数对深度神经网络的成功至关重要，选择合适的激活函数可以显著影响其性能。大多数网络使用固定的激活函数（例如， ReLU 、 GELU 等），这种选择可能限制了它们的表达能力。此外，不同的层可能从不同的激活函数中受益。因此，基于可训练激活函数的兴趣日益增加。 论文提出了一种基于有效微分同胚变换（称为 CPAB ）的可训练高表达能力激活函数 DiTAC 。尽管只引入了极少量的可训练参数， DiTAC 仍然增强了模型的表达能力和性能， ………………………………