神经网络

长短期记忆网络（LSTM）不仅能够解决 RNN无法处理长距离的依赖的问题，还能够解决神经网络中常见的梯度爆炸或梯度消失等问题，在处理序列数据方面非常有效。有效背后的根本原因有哪些？本文结合简单的案例，带大家了解关于 LSTM 的五个秘密，也解释了 LSTM如此有效的关键所在。

图像重建是一项具有挑战性的学习任务，因为没有人知道原始图像的样子。因此，似乎唯一实用和合乎逻辑的方法是发展一些关于图像的先验知识，并选择最大概率(最大先验估计)的重建。

在深度学习中，神经网络模型是其较为常见的模型之一。神经网络已经在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展，其强大的特征学习能力引起了国内外学者的广泛关注，有着十分广泛的应用前景。

我们在训练网络的时候经常会设置 batch_size，这个 batch_size 究竟是做什么用的，一万张图的数据集，应该设置为多大呢，设置为 1、10、100 或者是 10000 究竟有什么区别呢？

在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。

循环神经网络很难训练的原因导致它的实际应用中很处理长距离的依赖。本文将介绍改进后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，

神经网络是伟大的函数逼近器和特征提取器，但有时它们的权值变得过于特定化，导致过拟合。这就是正则化概念出现的地方，我们将讨论两种主要权重正则化技术之间的细微差别，它们经常被错误地认为是相同的。

根据最新的研究结果，训练一个普通的 AI 模型消耗的能源相当于五辆汽车一生排放的碳总量，而 BERT 模型的碳排放量约为 1400 磅二氧化碳，这相当于一个人来回坐飞机横穿美国。为何 AI 模型会如此费电，它们与传统的数据中心计算有何不同？

假定，你已经收集了一个数据集，建立了一个神经网络，并训练了您的模型。但是，尽管你投入了数小时(有时是数天)的工作来创建这个模型，它还是能得到50-70%的准确率。这肯定不是你所期望的。本文是一些提高模型性能指标的策略或技巧，可以大大提升你的准确率。

【导读】本文介绍了12个将神经网络画地更好看的工具。