RNN

在深度学习蓬勃发展的当下，前馈神经网络（FNN）、卷积神经网络（CNN）和循环神经网络（RNN）成为了构建智能系统的重要基石。

在本文中，我们将探讨 RNN 的架构、它们的应用、挑战以及克服它们的技术。

近期，清华大学温玉辉博士后、刘永进教授、中科院计算所副研究员高林、香港城市大学傅红波教授等合作，在CVPR2021上发表论文，提出了一种基于标准化生成流（Glow）的自回归运动风格迁移方法，并在GitHub上开源了Jittor代码。

机器学习领域是巨大的，为了学习不迷路，可以从以下列表帮助学习。它概述深度学习的一些学习细节。

RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

神经网络是深度学习的载体，而神经网络模型中，最经典非RNN模型所属，尽管它不完美，但它具有学习历史信息的能力。

在循环神经网络可以用于文本生成、机器翻译还有看图描述等，在这些场景中很多都出现了RNN的身影。

深入了解DNNs，CNNs以及RNNs中的Dropout来进行正则化，蒙特卡洛不确定性和模型压缩的方法。

深度信念网络（Deep Belief Nets），是一种概率生成模型，能够建立输入数据和输出类别的联合概率分布。深度信念网络通过采用逐层训练的方式，解决了深层次神经网络的优化问题，通过逐层训练为整个网络赋予了较好的初始权值，使得网络只要经过微调就可以达到最优解。

感知机包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。