一文彻底搞懂深度学习 -激活函数（Activation Function）

文章预览

神经网络中的线性组合（即加权求和）本身只能表示线性关系。 然而，现实世界中的大多数问题都是非线性的。 通过引入激活函数， 决定神经元是否应该被激活（将信号传递给下一个神经元）以及信号的强度。 这样神经网络才能够学习并表示这些非线性关系，从而解决更复杂的问题。 一文彻底搞懂深度学习 - 神经网络（Neural network） 传统激活函数Sigmoid 将输入映射到(0,1)之间，常用于 二分类问题 ； 主流激活函数ReLU 在正区间保持梯度不变，计算高效且能缓解梯度消失问题，广泛应用于 深度学习 ； 输出层激活函数Softmax 则将原始分数转换为概率分布，确保所有类别概率之和为1，适用于 多分类问题 。 Activation Function 一、传统激活函数（Sigmoid） 传统激活函数 Sigmoid ： Sigmoid 是传统神经网络中常用的一种激活函数，尤其在早期的神经网络结构中。 ………………………………