ECCV'24 | DiTAC：不知如何提升性能？试试这款基于微分同胚变换的激活函数

文章预览

非线性激活函数对深度神经网络的成功至关重要，选择合适的激活函数可以显著影响其性能。大多数网络使用固定的激活函数（例如， ReLU 、 GELU 等），这种选择可能限制了它们的表达能力。此外，不同的层可能从不同的激活函数中受益。因此，基于可训练激活函数的兴趣日益增加。 论文提出了一种基于有效微分同胚变换（称为 CPAB ）的可训练高表达能力激活函数 DiTAC 。尽管只引入了极少量的可训练参数， DiTAC 仍然增强了模型的表达能力和性能，通常会带来显著的改善。它在语义分割、图像生成、回归问题和图像分类等任务中优于现有的激活函数（无论这些激活函数是固定的还是可训练的）。 来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: Trainable Highly-expressive Activation Functions 论文地址：https://arxiv.org/abs/2407.07564 论文代码：https://githu ………………………………