神经网络之激活函数

作者:刘帝伟

在神经网络里面,会经常用到activation function,不管是CNN还是RNN亦或是其他带有神经元的网络,activation function都扮演着重要角色。刚接触神经网络的时候,脑子里总会浮现很多问题。为什么会有这么多activation function?为何这个函数就比另一个效果好?这么多函数,我们该使用哪一个?出于学习目的,本文将对activation function进行简要的归纳,旨在屡清各个函数的应用场景。

前言介绍

一个神经网络包含很多的神经元,每个神经元上都伴随着一个Activation Function,而神经元将Activation Function的值作为其输出(同时作为下一层的输入)。Activation Function译名叫做激活函数,通常将其划分为线性激活函数(linear Activation Function)和非线性激活函数(Non-linear Activation Function)。一般情况下,如果神经网络中使用的是linear Activation Function,那么每一层都相当于是上一层的线性组合,其输入和输出均是线性的,此时就类似于感知机模型,那么hidden layer就没有存在的意义了,同时这种线性函数对于复杂的非线性问题拟合效果欠缺。当我们使用非线性激活函数时,模型可以拟合任意函数的输出,表现空间更大、使用范围更广、且效果更佳。

激活函数的类型特别多,本文主要介绍下面几个常用的非线性激活函数:
① sigmoid
② tanh(Hyperbolic tangent)
③ ReLU (Rectified Linear Unit)
④ Leaky ReLU


下面根据激活函数的演进来看看各大激活函数的优缺点。

Sigmoid Activation Function

sigmoid函数是一个有界可导的实函数,同时sigmoid函数还是单调的,其表达式如下:


根据表达式,我们可以使用Python绘制出sigmoid曲线:


从上图我们看出,sigmoid函数取值在0到1,因此我们一般使用sigmoid的值作为概率输出,如LR:

特点:
① 导数 σ ′ = σ( 1 − σ )
② sigmoid单调,导数非单调;
③ 值域0到1之间,可表示概率。线性激活函数的值域在(-inf,+inf),而sigmoid的值域在(0,1),能够很好的表示概率。

缺点:在sigmoid的两端,X的变化对Y的作用不大,以致在训练过程中,位于这部分区间的数据点的梯度会特别小,甚至会产生Vanishing Gradient Problem,从而导致训练速度变慢,难以收敛。

绘制sigmoid曲线代码:

import matplotlib.pyplot as plt
import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))
x = np.arange(-5., 5., 0.1)
y_sig = sigmoid(x)
plt.plot(x, y_sig, 'b', label='sigmoid')
plt.grid()
plt.title("Sigmoid Activation Function")
plt.text(6, 0.8, r'$\sigma(x)=\frac{1}{1+e^{-x}}$', fontsize=15)
plt.legend(loc='lower right')
plt.show()

tanh Activation Function

tanh激活函数跟sigmoid激活函数的图像很像,只是抑制区域不一样。tanh也可以用sigmoid进行表示,如下:


图型如下:


tanh函数特点:
① 导数为tanh′(x)=1−tanh2(x)
② tanh属于单调函数,但其导数非单调;
③ 值域(-1,1),以0为中心;

缺点:与sigmoid一样,同样会出现vanishing gradient problem。

绘制tanh曲线代码:

import matplotlib.pyplot as plt
import numpy as np

def tanh(x):
    return (1-np.exp(-2*x))/(1 + np.exp(-2*x))

x = np.arange(-5., 5., 0.1)
plt.grid()

plt.plot(x, tanh(x), 'g', label='tanh')
plt.title("tanh activation function")
plt.text(6,1, r'$tanh(x)=\frac{1-e^{-2x}}{1+e^{-2x}}$', fontsize=15)
plt.legend(loc='lower right')
plt.show()

ReLU

ReLU函数也是非线性激活函数,它很好的避免了 vanishing gradient problem,不过在坐标轴的正侧,它是一个线性函数,表达式如下:



ReLU函数特点:
① 导数:当x<=0时,导数为0;当 x > 0 时,导数为1;
② 任何函数都可以近似采用ReLU函数的组合进行表示;
③ 取值[0, inf),可以放大激活函数,但是负区域会完全的终止神经元的传输,因此出现了ReLU的变体Leaky ReLU等。
④ 受限于hidden layer使用。

绘制ReLU曲线代码:

import matplotlib.pyplot as plt
import numpy as np

def relu(x):
    return np.maximum(0, x)

x = np.arange(-5., 5., 0.1)
y_relu = relu(x)
plt.plot(x, y_relu, 'r', label='ReLU')
plt.grid()
plt.title("ReLU Activation Function")
plt.text(6, 4, r'$relu(x)=max(0, x)$', fontsize=15)
plt.legend(loc='lower right')
plt.show()

Leaky ReLU

Leaky ReLU是ReLU的变体,目的是使得激活函数的梯度不为零,不仅可以抑制神经元,同时还可以恢复神经元的向后传递。表达式如下:



绘制Leaky ReLU曲线代码:

import matplotlib.pyplot as plt
import numpy as np

def leaky_relu(x, a=0.1):
    return np.maximum(a*x, x)

x = np.arange(-5., 5., 0.1)
y_relu = leaky_relu(x)
plt.plot(x, y_relu, '#FFAA00', label='Leaky ReLU')
plt.grid()
plt.title("Leaky ReLU Activation Function")
plt.text(6, 4, r'$f(x)=max(ax, x)$', fontsize=15)
plt.legend(loc='lower right')
plt.show()

扩展

https://en.wikipedia.org/wiki/Activation_function


Fig: Activation Function Cheetsheet

总结

上面说到ReLU激活函数及其变体的效果很出色,但是是不是 全部都采用ReLU呢?当然不是,在处理分类任务是,sigmoid还是表现的相当出色的,并且解释性更强,更简单。如果你在训练神经网络模型的时候不知道采用何种激活函数,可以先采用ReLU和tanh进行训练,相信你肯定会得到一个不错的baseline。

References
1. The equivalence of logistic regression and maximum entropy models
2. The Origins of Logistic Regression - Tinbergen Institute
3. Understanding Activation Functions in Neural Networks
4. Activation functions and it’s types-Which is better?

本文来源:https://www.csuldw.com/,转载此文目的在于传递更多信息,版权归原作者所有。如不支持转载,请联系小编demi@eetrend.com删除。

最新文章