文章预览
神经网络作为深度学习的核心工具，在很多实际问题中表现出色。而 激活函数是神经网络中重要的组成部分，它为网络引入非线性能力 ，从而能够处理复杂的模式和数据。本文参考《 机器学习漫画小抄 》一书，盘点神经网络中常用的激活函数，探讨其数学表达式、特点以及适用场景。 1. 激活函数的作用 神经网络中的激活函数用于将输入信号映射到输出信号，赋予网络非线性变换能力。具体来说，激活函数有以下作用： 引入非线性 ：如果网络中仅包含线性运算，其输出仍是输入的线性组合，无法逼近复杂函数。 数据归一化 ：某些激活函数（如 sigmoid）会将输出限制在特定区间内，方便后续处理。 梯度传播 ：激活函数的选择影响反向传播中的梯度计算，从而影响网络的训练效率。 2. 常见的激活函数 2.1 Sigmoid 函数 Sigmoid 函数是最早期使用的激活
………………………………
