本文对比分析了Tensorflow中的多种激活函数，包括ReLU、Sigmoid、Tanh、ReLU6、CReLU、Leaky ReLU、PReLU、RReLU、ELU和SeLU。ReLU因其计算效率和稀疏性在卷积层中常用，Sigmoid和Tanh有梯度消失问题，ReLU6限制了输出范围，CReLU和Leaky ReLU解决了ReLU的神经元坏死问题，PReLU和RReLU引入了可调整或随机的系数，ELU和SeLU具有更好的梯度流动性和自归一化特性。
1、ReLU (tf.nn.relu)
优点：1）使网络可以自行引入稀疏性，提高了训练速度；2）计算复杂度低，不需要指数运算，适合后向传播。
缺点：1）输出不是零均值，不会对数据做幅度压缩；2）容易造成神经元坏死现象，某些神经元可能永远不会被激活，导致相应参数永远不会更新。
卷积层后面通常用ReLU。
2、Sigmoid (tf.sigmoid)
它的曲线呈现S形，将变量映射到(0,1)这个值域范围上。它的导数 f'(x)=f(x)[1-f(x)]。
优点：1）输出范围有限，数据不会发散；2）求导简单。
缺点：1）激活函数计算量大，涉及指数和除法；2）反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网
扫一扫
3404
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
