6 种激活函数核心知识点,请务必掌握!
demi 在 周三, 08/15/2018 - 13:41 提交
作者:红色石头
我们知道,神经网络模型中,各隐藏层、包括输出层都需要激活函数(Activation Function)。我们比较熟悉的、常用的激活函数也有 ReLU、Sigmoid 等等。但是,对于各个激活函数的选取方法、区别特点还有几点需要特别注意的地方。今天红色石头就和大家一起来总结一下常用激活函数 Sigmoid、tanh、ReLU、Leaky ReLU、ELU、Maxout 的关键知识点。
1、为什么需要激活函数
神经网络单个神经元的基本结构由线性输出 Z 和非线性输出 A 两部分组成。如下图所示: