demi的博客

神经网络中激活函数的真正意义是什么？激活函数的意义是“让神经网络具备强大的拟合能力”。

由于0-1范围内的导数累乘，会发现累乘会导致激活函数导数的累乘，如果取tanh或sigmoid函数作为激活函数的话，那么必然是一堆小数在做乘法，结果就是越乘越小。随着时间序列的不断深入，小数的累乘就会导致梯度越来越小直到接近于0，这就是“梯度消失“现象。

Python的字符串处理，在爬虫的数据解析、大数据的文本清洗，以及普通文件处理等方面应用非常广泛，而且Python对字符串的处理内置了很多高效的函数，功能非常强大、使用非常方便。今天我就把字符串处理时用到最多的方法总结分享给大家，希望大家可以轻松应对字符串处理。

1. 字符串的切片和相乘

（1）切片

str='Monday is a busy day'
print(str[0:7])  #表示取第一个到第七个的字符串
print(str[-3:])  #表示取从倒数第三个字符开始到结尾的字符串
print(str[::])   #复制字符串

（2）相乘

当我们编写Python代码时要分隔符，此时用字符串的乘法操作就很容易实现。

line='*'*30
print(line)
>>******************************

2. 字符串的分割

（1）普通的分割，用split函数，但是split只能做非常简单的分割，而且不支持多个分隔。

Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的；比如这两年比较热的image caption的应用，就是CNN-RNN的编码-解码框架；再比如神经网络机器翻译NMT模型，往往就是LSTM-LSTM的编码-解码框架。

神经网络能否代替决策树算法？两者是不同的应用场景。传统的机器学习比如SVM和树算法，要求数据是结构化数据，比如离散或者连续的好几个特征，特征通常都是数值类型，并且具有一定统计意义。

偏差是指预测结果与真实值之间的差异，排除噪声的影响，偏差更多的是针对某个模型输出的样本误差，偏差是模型无法准确表达数据关系导致，比如模型过于简单，非线性的数据关系采用线性模型建模，偏差较大的模型是错的模型。

随着材料科学、感知人工智能以及5G、云等网络技术的不断进步，将出现护理机器人、仿生机器人、社交机器人、管家机器人等形态丰富的机器人，涌现在家政、教育、健康服务业，带给人类新的生活方式。

一般而言，深度卷积网络是一层又一层的。层的本质是特征图, 存贮输入数据或其中间表示值。一组卷积核则是联系前后两层的网络参数表达体, 训练的目标就是每个卷积核的权重参数组。

算法中的learning rate a（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、n（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你来设置，这些数字实际上控制了最后的参数W和b的值，所以它们被称作超参数。

全连接神经网络，需要的参数过多，例如1000*1000的图像，则输入层有10^6个节点，若隐藏层也有10^6个节点，则输入层到隐藏层的参数有10^12个。CNN用局部感知和权值共享大大减少了参数，同时还具备其它优点。它们与自然图像自身具有的特性：特征的局部性与重复性完美贴合。