神经网络

神经网络是一种受到生物神经系统启发而设计的计算模型，用于机器学习和人工智能领域。神经网络由大量的人工神经元（模拟生物神经元）组成，这些神经元通过连接权重相互连接，形成网络结构。神经网络的目标是通过学习和调整权重来模拟和解决复杂的问题。

【神经网络】循环神经网络(RNN)的长期依赖问题

demi 在周三, 01/23/2019 - 09:28 提交

时间序列数据是在不同时间点上统计同一指标，并按照时间先后排列成的一个集合。时间序列的主要作用是了解一个指标的长期趋势和预测未来。循环神经网络（Recurrent Neural Network或RNN )就是一类用于处理序列数据的神经网络。RNN的状态，不仅受输入影响，还受前一时刻状态的影响。

“深度学习”和“多层神经网络”的区别

joycha 在周四, 01/03/2019 - 11:49 提交

"深度学习"是为了让层数较多的多层神经网络可以训练，能够work而演化出来的一系列的新的结构和新的方法。
新的网络结构中最著名的就是CNN，它解决了传统较深的网络参数太多，很难训练的问题，使用了“局部感受野”和“权植共享”的概念，大大减少了网络参数的数量。关键是这种结构确实很符合视觉类任务在人脑上的工作原理。

新的结构还包括了：LSTM，ResNet等。

新的方法就多了：新的激活函数：ReLU，新的权重初始化方法（逐层初始化，XAVIER等），新的损失函数，新的防止过拟合方法（Dropout, BN等）。这些方面主要都是为了解决传统的多层神经网络的一些不足：梯度消失，过拟合等。

从广义上说深度学习的网络结构也是多层神经网络的一种。

传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。

而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。

神经网络纹理合成和损失函数风格转移

demi 在周四, 01/03/2019 - 11:06 提交

稳定可控的神经网络纹理合成和采用直方图损失函数的风格转移
Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses

摘要

最近，出现了用卷积神经网络做纹理合成和风格转移的方法。这些方法令人激动，它们可以生成最新最好的质量。然而，我们发现这些方法在纹理质量，稳定性，参数调整，无需用户控制上面都有一些限制。本文提供了卷积神经网络的多尺度合成方法可以改善这些问题。我们对之前很多方法的不稳定的来源做了数学解释。我们使用直方图损失函数合成纹理改善这些不稳定性，更好地统计概率上匹配这些实例。我们还展示了如何在我们的多尺度框架中整合定位后的风格损失。这些损失函数可改善大特征的质量，增强内容和风格的分离，提供了艺术性控制，比如绘画。我们还展示了我们的方法对质量进行改进，在很少迭代中收敛，优化过程中更稳定。