[神经网络学习笔记]激活函数的作用、定义和微分证明

激活函数被用到了什么地方?

目前为止,我见到使用激活函数的地方有两个。

• 逻辑回归(Logistic Regression)
• 神经网络(Neural Network)

这两处,激活函数都用于计算一个线性函数的结果。

了解激活函数

激活函数的作用:就是将权值结果转化成分类结果。

2类的线性分类器

先说一个简单的情况 - 一个2类的线性分类器。
了解激活函数,先要明确我们的问题是:"计算一个(矢量)数据的标签(分类)"。
以下图为例:

[神经网络学习笔记]激活函数的作用、定义和微分证明

训练

训练的结果,是一组(w,b),和一个线性函数f(x)=wx+b。

预测

我们现在仔细考虑一下,如何在预测函数中使用这个线性函数f(x)。
先从几何方面理解一下,如果预测的点在分割线wx+b=0上,那么f(x)=wx+b=0。
如果,在分割线的上方某处,f(x)=wx+b=8(假设是8)。
8可以认为是偏移量。

注:取决于(w, b),在分割线上方的点可以是正的,也可能是负的。
例如: y - x =0,和 x - y = 0,这两条线实际上是一样的。
但是,应用点(1, 9)的结果, 第一个是8, 第二个是 -8。

问题

然后,你该怎么办???
如何用这个偏移量来得到数据的标签?

激活函数

激活函数的作用是:将8变成红色。
怎么变的呢?比如:我们使用sigmoid函数,sigmoid(8) = 0.99966464987。
sigmoid函数的结果在区间(0, 1)上。如果大于0.5,就可以认为满足条件,即是红色。

3类分类器的情况

我们再看看在一个多类分类器中,激活函数的作用。
以下图为例:

[神经网络学习笔记]激活函数的作用、定义和微分证明

训练

3类a,b,ca,b,c分类器的训练结果是3个(w,b),三个f(x),三条分割线。
每个f(x),可以认为是针对一个分类的model。因此:

[神经网络学习笔记]激活函数的作用、定义和微分证明

预测

对于预测的点x,会得到三个偏移量[fa(x),fb(x),fc(x)]。
使用激活函数sigmoid:
sigmoid([fa(x),fb(x),fc(x)])
会得到一个向量, 记为:[Sa,Sb,Sc]。
这时的处理方法是:再次使用激活函数(没想到吧)
一般会使用激活函数softmax。
激活函数,在这里的作用是:计算每个类别的可能性。
最后使用argmax函数得到:最大可能性的类。

注:上面差不多是Logistic Regression算法的一部分。
注:softmax也经常被使用于神经网络的输出层。

激活函数的来源

在学习神经网络的过程中,激活函数的灵感来自于生物神经网络,被认为是神经元对输入的激活程度。
最简单的输出形式是:一个开关,0,10,1。 要么00,要么11。
也就是一个单位阶跃函数(Heaviside step function)。

这种思想主要是一种灵感来源,并不是严格的推理。

常用的激活函数有哪些

名称 公式 取值范围 微分
sigmoid - S型
(0,1)
tanh(hyperbolic tangent) - 双曲正切
(−1,1)
Rectified linear unit - ReLU - 修正线性单元
[0,∞)
 
softmax
(0,1)
 

激活函数的意义

名称 含义
sigmoid - S型 sigmoid的区间是[0, 1]。因此,可以用于表示Yes/No这样的信息。比如:不要(0)/要(1)。多用于过滤数据。比如:门。
tanh(hyperbolic tangent) - 双曲正切 tanh的区间是[-1, 1]。同样可以表示Yes/No的信息,而且加上了程度。比如:非常不可能(-1)/一般般(0)/非常可能(1)。非常不喜欢(-1)/一般般(0)/非常喜欢(1)。因此,tanh多用于输出数据。输出数据最终会使用softmax来计算可能性。
softmax softmax用于输出层,计算每个分类的可能性。
Rectified linear unit - ReLU - 修正线性单元 ReLU的好处:ReLU对正值较少的数据,处理能力更强。由于,其导数为{0, 1},可以避免梯度消失问题。

激活函数的微分的证明

sigmoid

sigmoid函数

[神经网络学习笔记]激活函数的作用、定义和微分证明

证明
[神经网络学习笔记]激活函数的作用、定义和微分证明

tanh

tanh函数

[神经网络学习笔记]激活函数的作用、定义和微分证明

证明
[神经网络学习笔记]激活函数的作用、定义和微分证明

softmax

激活函数softmax和损失函数会一起使用。
激活函数会根据输入的参数(一个矢量,表示每个分类的可能性),计算每个分类的概率(0, 1)。
损失函数根据softmax的计算结果y^y^和期望结果yy,根据交叉熵方法(cross entropy loss) 可得到损失LL。

softmax函数

[神经网络学习笔记]激活函数的作用、定义和微分证明

证明
[神经网络学习笔记]激活函数的作用、定义和微分证明

参照
Activation function
神经网络学习笔记-04-损失函数的定义和微分证明

转自: SNYang

--电子创新网--
粤ICP备12070055号