Sigmoid 激活函数
优势：
- 取值为 ，可以用来表示概率取值，同时也达到了归一化的效果
- 梯度整体是非常平滑的，不像relu一样有跳跃输出
- 函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率；
缺点：
- 当取值5左右的时候，梯度就已经非常小了，不利于梯度更新，倾向于梯度消失的情况
- 执行指数运算，计算非常慢
ReLU激活函数
优点：
- 求导简单，计算简单
- 当输入为整数的时候，不存在梯度饱和的问题，梯度永远是1
缺点：
- Dead ReLU 问题：当ReLU的输入为负数时，其输出恒为0，导致在反向传播过程中，该神经元的梯度为0。这意味着在反向传播时，该神经元的权重不会得到更新，因为梯度为0意味着权重的变化量为0。如果一个神经元的输入持续为负，那么这个神经元就会变成“死亡”状态，因为它不再对任何输入做出反应，即它的输出始终为0，这会导致网络中的信息流中断，影响网络的学习效果。
tanh激活函数
tanh和sigmoid是非常相似的
优缺点参考sigmoid
leaky relu
从理论上讲，Leaky ReLU 具有 ReLU 的所有优点，而且 Dead ReLU 不会有任何问题，但在实际操作中，尚未完全证明 Leaky ReLU 总是比 ReLU 更好。
Loading Comments...