深度学习是一种基于人工神经网络的机器学习方法，它通过多层神经网络对数据进行建模和学习，从而使计算机能够自动从数据中提取特征并进行预测。深度学习在图像处理、语音识别、自然语言处理等领域取得了显著的突破，特别是在大数据和强大计算能力的支持下，深度学习已成为解决复杂问题的主要技术。
在学习深度学习的时候，会经常遇到信息论相关的概念，而信息论，作为信息时代的基石，其重要性不言而喻，而对于深度学习和机器学习，信息论也是绕不开的，今天给大家分享一些信息论相关的内容，作为学习深度学习和机器学习的同学来说，这些是一定要会的哦！
深度学习19种损失函数，你认识几个？
Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。
对于一个分类的问题的简化，我们可以先训练一个Basic classfier，然后将其共享给following classfier，通过多层的分类器进行特征的提取，用较少的数据就可以训练好网络。而在deep的模型当中，Basic classfier是由神经网络自己学到的，然后通过更多层的网络可以使得classfier逐渐学到更加深层次的特征。这就是deep network能够work的原因。
在深度神经网络中，超参数的调整是一项必备技能，通过观察在训练过程中的监测指标如损失loss和准确率来判断当前模型处于什么样的训练状态，及时调整超参数以更科学地训练模型能够提高资源利用率。下面将分别介绍并总结不同超参数的调整规则。
安全专家与网络罪犯间的战争已成猫鼠游戏，肩负信息保护责任的安全专家与意图破坏数据完整性的网络罪犯势成水火，技术比拼与战术对抗，道高一尺，魔鬼一丈。数字连接性的增加和商业领域整个价值链中几乎所有过程的自动化，催生出了敏捷性这种东西，也发展出了相当高端的威胁，极大地增加了网络安全风险。
预处理的时候0中心化，最好数据增强一下，找预训练模型，ReLU激活函数，3*3卷积核，xavier初始化，sgd+momentum或者adam比较好用，bn(可以调大学习率，收敛很快)，dropout(有bn可以去掉，最好加上，会训练慢一些)，batch_size大一点，另外，多尺度训练效果拔群,前几层卷积核可以多一些。
法国博主Jean-Louis Queguiner撰写了这篇《给我8岁的女儿解释深度学习》，以用深度学习技术搭建识别手写数字的神经网络为例，用清晰的方式，解释了深度学习的原理。
正如大多数人所知道的，GPU的处理速度之快得益于它可以高效地处理矩阵乘法和卷积，但是大家并不一定知道真正的理由。GPU如此快速的真正原因是内存带宽和不必要的并行。
机器学习中经典假设中往往假定训练样本各类别是同等数量即各类样本数目是均衡的，但是真实场景中遇到的实际问题却常常不符合这个假设。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。