神经网络

① 获取更多的数据。最直观有效的方法，有了足够的数据网络也不太容易过拟合。② 数据增强。复制现有数据并加随机噪声，重采样等，在图像领域我们可以进行不同角度旋转，平移变换，随机裁剪，中心裁剪，模糊等。

随机梯度下降针对神经网络解决的优化问题具有挑战性，解决方案的空间（权重集）可能包含许多良好的解决方案（称为全局最优），并且易于查找，但技能解决方案较少（称为本地解决方案）最优）。

本文为了让初学者更加简单、直观地理解神经网络在训练中的技巧，以及明白为什么这样做能有效地提高训练效率，将神经网络中的本质过程一一阐述，弄清楚这些原理对初学者大有裨益。

遗传算法是1962年由美国Michigan大学Holland教授提出的模拟自然界遗传机制和生物进化论而形成的一种并行随机搜索最优化方法。它把自然界中的“优胜劣汰，适者生存”的生物进化原理引入优化参数形成的编码串联群体中，按照所选择的适应度函数并通过遗传中的选择、交叉和变异对个体进行筛选，是适应值好的个体被保留，适应度差的个体倍淘汰，新的种群集成上一代的信息，有优于上一代。

神经网络的调试基本上难于绝大多数的程序，因为大部分的神经网络的错误不会以类型错误或运行时错误显现，他们只是使得网络难以收敛。如果你是一个新人，这可能会让你非常沮丧。

神经网络是由大量的神经元互联而构成的网络。根据网络中神经元的互联方式，常见网络结构主要可以分为３类：前馈神经网络、反馈神经网络、自组织神经网络。

权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）

激活函数是神经网络中一个至关重要的概念，决定了某个神经元是否被激活，判断该神经元获得的信息是否有用，并决定该保留还是该去掉此神经元。本文作者 Vandit Jain 对激活函数的相关知识进行了一个较为全面的总结。

相信我们都做过一些图片分类或者是其他分类的项目，我们知道神经网络是在w和b参数调节基础上，使得x与y达到对应输出的效果。比如最经典的Mnist手写字体识别，给一张图片模型判断后将会输出数字结果.....

人工神经网络(简称：神经网络)的思路是利用计算模拟生物神经网络的信息处理的能力，来进行数据分析。它是人工智能研究的范畴，更是属于机器学习算法领域。是一种分析数据的模型。