激活函数

深度学习中的激活函数与梯度消失

demi 在 周四, 05/07/2020 - 09:20 提交

深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的激活函数，传入到下一层神经元；再经过该层神经元的激活，继续往下传递，如此循环往复，直到输出层。正是由于这些非线性函数的反复叠加，才使得神经网络有足够的能力来抓取复杂的模式，在各个领域取得不俗的表现。

神经网络为何非激活函数不可？

demi 在 周五, 02/07/2020 - 11:21 提交

激活函数是神经网络中一个至关重要的概念，决定了某个神经元是否被激活，判断该神经元获得的信息是否有用，并决定该保留还是该去掉此神经元。本文作者 Vandit Jain 对激活函数的相关知识进行了一个较为全面的总结。

神经网络之激活函数

demi 在 周五, 08/02/2019 - 09:32 提交

在神经网络里面，会经常用到activation function，不管是CNN还是RNN亦或是其他带有神经元的网络，activation function都扮演着重要角色。刚接触神经网络的时候，脑子里总会浮现很多问题。为什么会有这么多activation function?为何这个函数就比另一个效果好？这么多函数，我们该使用哪一个？