神经网络

本文简要介绍了提升神经网络性能的方法，如检查过拟合、调参、超参数调节、数据增强。神经网络是一种在很多用例中能够提供最优准确率的机器学习算法。但是，很多时候我们构建的神经网络的准确率可能无法令人满意，或者无法让我们在数据科学竞赛中拿到领先名次......

神经网络中损失函数后一般会加一个额外的正则项L1或L2,也成为L1范数和L2范数。正则项可以看做是损失函数的惩罚项，用来对损失函数中的系数做一些限制。

卷积神经网络四种卷积类型：一般卷积；扩张的卷积；转置卷积；可分离的卷积。

感知机可以说是最古老的分类方法之一了，在1957年就已经提出。今天看来它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为研究透了感知机模型，学习支持向量机的话会降低不少难度。同时如果研究透了感知机模型，再学习神经网络，深度学习，也是一个很好的起点。这里对感知机的原理做一个小结。

本文阐述深度学习中使用的一些初始化技术。任何甚至没有机器学习背景的人都必须知道我们需要学习权重或超参数来制作模型。这些参数控制着我们的算法在看不见的数据上的表现。要学习模型，我们需要初始化参数，应用损失函数然后对其进行优化。

计算机具有高储量的硬盘和强大的CPU和GPU。但是智能手机却没有，为了弥补这个缺陷，我们需要技巧来让智能手机高效地运行深度学习应用程序。深度学习是一个令人难以置信的灵活且强大的技术，但运行的神经网络可以在计算方面需要非常大的电力，且对磁盘空间也有要求。这通常不是云空间能够解决的问题，一般都需要大硬盘服务器上运行驱动器和多个GPU模块。

网络参数确定原则：①、网络节点；②、初始权值的确定；③、最小训练速率；④、动态参数；⑤、允许误差；⑥、迭代次数；⑦、Sigmoid参数；⑧、数据转换。

激活函数是神经网络的一个重要组成部分。如果不用激活函数（即相当于激活函数为f(x)=x），在这种情况下，网络的每一层的输入都是上一层的线性输出，因此，无论该神经网络有多少层，最终的输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机。

对于神经网络的入门概念来说最重要的是一些相关的理解性概念：反向传播、激活函数、正则化以及BatchNomalizim等。其实反向传播归根结底就是一个每一次训练的动态更新的的过程，其遵循的原理是数学中的求导以及链式法则；理解了反向传播，也就能够理解梯度消失等相关的情况以及概念......

神经网络计算（Neural Network Computing NNC）是通过对人脑的基本单元——神经元的模拟，经过输入层、隐层、输出层等层次结构，对数据进行调整、评估和分析计算，得到的一类具有学习、联想、记忆和模式识别等功能的智能算法。要想比较深入的理解神经网络计算，就必须对神经网络系统有一定的理解，本文对其进行一些简单介绍。