LSTM

近期，清华大学温玉辉博士后、刘永进教授、中科院计算所副研究员高林、香港城市大学傅红波教授等合作，在CVPR2021上发表论文，提出了一种基于标准化生成流（Glow）的自回归运动风格迁移方法，并在GitHub上开源了Jittor代码。

RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

在一篇中着核心要素简述了LSTM算法的原理，本篇中将在本人做过一些前置处理的数据集上实现LSTM的一个实际应用案例。

当我们处理与事件发生的时间轴有关系的问题时，比如自然语言处理，文本处理，连续几天的天气状况，语音识别，机器翻译等。在考虑这些和时间轴相关的问题时，传统的神经网络就无能为力了，因此就有了RNN。这里介绍RNN基本原理是为了铺垫我们的重点LSTM网络。

长短期记忆网络（LSTM）不仅能够解决 RNN无法处理长距离的依赖的问题，还能够解决神经网络中常见的梯度爆炸或梯度消失等问题，在处理序列数据方面非常有效。有效背后的根本原因有哪些？本文结合简单的案例，带大家了解关于 LSTM 的五个秘密，也解释了 LSTM如此有效的关键所在。

在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。

循环神经网络很难训练的原因导致它的实际应用中很处理长距离的依赖。本文将介绍改进后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，

之前我们介绍了RNN 网络结构以及其所遇到的问题 ，RNN 结构对于关联度太长的时序问题可能无法处理，简单来说，RNN对于太久远的信息不能有效地储存，为了解决这个问题，有人提出了LSTM的网络结构，LSTM 网络结构最早是由 Hochreiter & Schmidhuber 在1997 年提出的，随着后来研究者的不断改进，LSTM网络在很多问题上都有非常好的表现，并且得到广泛的关注与应用。

LSTM 网络

LSTM 结构的一个优势在于可以很好的解决 “long-term dependency” 的问题，”长期记忆”是LSTM结构与生俱来的特性，而不需要刻意地去学习。

所有的RNN结构都是有一个不断重复的模块，在标准的RNN结构中，这个不断重复的模块是一个单层的tanh , 如下图所示：