ECCV'24 | DiTAC：不知如何提升性能？试试这款基于微分同胚变换的激活函数

文章预览

前言   非线性激活函数对深度神经网络的成功至关重要，选择合适的激活函数可以显著影响其性能。大多数网络使用固定的激活函数（例如， ReLU 、 GELU 等），这种选择可能限制了它们的表达能力。 论文提出了一种基于有效微分同胚变换（称为 CPAB ）的可训练高表达能力 激活函数 DiTAC 。尽管只引入了极少量的可训练参数， DiTAC 仍然增强了模型的表达能力和性能，通常会带来显著的改善。它在语义分割、图像生成、回归问题和图像分类等任务中 优于现有的激活函数 （无论这些激活函数是固定的还是可训练的）。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 晓飞的算法工程日记 仅用于学术分享，若侵权请联系删除 论文: Trainable Highly-expressive Act ………………………………