神经网络

我们在训练网络的时候经常会设置 batch_size，这个 batch_size 究竟是做什么用的，一万张图的数据集，应该设置为多大呢，设置为 1、10、100 或者是 10000 究竟有什么区别呢？

在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。

循环神经网络很难训练的原因导致它的实际应用中很处理长距离的依赖。本文将介绍改进后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，

神经网络是伟大的函数逼近器和特征提取器，但有时它们的权值变得过于特定化，导致过拟合。这就是正则化概念出现的地方，我们将讨论两种主要权重正则化技术之间的细微差别，它们经常被错误地认为是相同的。

根据最新的研究结果，训练一个普通的 AI 模型消耗的能源相当于五辆汽车一生排放的碳总量，而 BERT 模型的碳排放量约为 1400 磅二氧化碳，这相当于一个人来回坐飞机横穿美国。为何 AI 模型会如此费电，它们与传统的数据中心计算有何不同？

假定，你已经收集了一个数据集，建立了一个神经网络，并训练了您的模型。但是，尽管你投入了数小时(有时是数天)的工作来创建这个模型，它还是能得到50-70%的准确率。这肯定不是你所期望的。本文是一些提高模型性能指标的策略或技巧，可以大大提升你的准确率。

【导读】本文介绍了12个将神经网络画地更好看的工具。

神经网络通常被认为是机器学习的圣杯，无所不知，解决一切问题，主要是因为它们很复杂。另一方面，基于树的方法并没有被同样的敬畏和炒作，主要是因为它们看起来很简单。虽然它们看起来如此不同，但它们只是一枚硬币的两面。

深度学习网络模型训练困难的原因是，cnn包含很多隐含层，每层参数都会随着训练而改变优化，所以隐层的输入分布总会变化，每个隐层都会面临covariate shift的问题。