长短期记忆网络(通常称为“ LSTM”)是一种特殊的RNN,经过精心设计LSTM能够学习长期的依赖。正如他的名字,它可以学习长期和短期的依赖。
长短期记忆网络(通常称为“ LSTM”)是一种特殊的RNN,经过精心设计LSTM能够学习长期的依赖。正如他的名字,它可以学习长期和短期的依赖。
每个LSTM层都有四个门:
① Forget gate
② Input gate
③ New cell state gate
④ Output gate
下面计算一个LSTM单元的参数:
每一个lstm的操作都是线性操作,所以只要计算一个然后乘以4就可以了,下面以Forget gate为例:
h(t-1) — Hidden layer unit from previous timestamps x(t) — n-dimesnional unit vector b- bias term
因为已经知道h(t-1)和X(t) W_f和b_f是未知项。这里我们使用LSTM来寻找最终的w_f是[h(t-1), x(t)]的拼接。
W_f:num_units + input_dim: concat [h(t-1), x(t)] b_f:1
所以来计算参数公式:
num_param = no_of_gate(num_units + input_dim+1)
在整个LSTM层中有四个门,所以最后的方程如下。
num_param = 4(num_units + input_dim+1)
在实际应用时,我们不只是处理单个LSTM cell。如何计算多个cell的参数?
num_params = 4 * [(num_units + input_dim + 1) * num_units] num_units =来自以前的时间戳隐藏的层单元= output_dim
我们实际计算一个lstm的参数数量
from keras.models import Sequential from keras.layers import Dense, Dropout, Activation from keras.layers import Embedding from keras.layers import LSTM model = Sequential() model.add(LSTM(200, input_dim=4096, input_length=16)) model.summary()
keras的计算结果为:
Model: "sequential_2" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= lstm_2 (LSTM) (None, 200) 3437600 ================================================================= Total params: 3,437,600 Trainable params: 3,437,600 Non-trainable params: 0 _________________________________________________________________
下面使用我们上面介绍的公式手动计算:
num_params = 4 * [(num_units + input_dim + 1) * num_units] num_params = 4*[(200+4096+1) * 200] num_params = 3437600
结果是一样的
作者:Maheshmj
本文转自: DeepHub IMBA,转载此文目的在于传递更多信息,版权归原作者所有。如不支持转载,请联系小编demi@eetrend.com删除。