LSTM¶
- class torch.nn.LSTM(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, proj_size=0, device=None, dtype=None)[source][source]¶
将多层长短期记忆 (LSTM) RNN 应用于输入序列。对于输入序列中的每个元素，每一层计算以下函数
其中， 是时间步 t 的隐藏状态， 是时间步 t 的细胞状态， 是时间步 t 的输入， 是时间步 t-1 的层的隐藏状态，或者时间步 0 的初始隐藏状态，并且 、、、 分别是输入门、遗忘门、细胞门和输出门。 是 sigmoid 函数，而 是 Hadamard 积。
在一个多层 LSTM 中，第 层 () 的输入 是前一层的隐藏状态 乘以 dropout ，其中每个 是一个伯努利随机变量，其概率为
dropout时为 。如果指定了
proj_size > 0，将使用带投影的 LSTM。这将以下列方式更改 LSTM 单元。首先， 的维度将从hidden_size更改为proj_size( 的维度将相应更改)。其次，每层的输出隐藏状态将乘以一个可学习的投影矩阵：。请注意，这样做的结果是，LSTM 网络的输出也将具有不同的形状。有关所有变量的确切维度，请参见下面的“Inputs/Outputs”部分。您可以在 https://arxiv.org/abs/1402.1128 中找到更多详细信息。- 参数
input_size – 输入 x 中预期特征的数量
hidden_size – 隐藏状态 h 中特征的数量
num_layers – 循环层数。例如，设置
num_layers=2将意味着堆叠两个 LSTM 在一起以形成一个 stacked LSTM，第二个 LSTM 接收第一个 LSTM 的输出并计算最终结果。默认值：1bias – 如果
False，则该层不使用偏置权重 b_ih 和 b_hh。默认值：Truebatch_first – 如果
True，则输入和输出张量以 (batch, seq, feature) 而不是 (seq, batch, feature) 的形式提供。请注意，这不适用于隐藏状态或细胞状态。有关详细信息，请参见下面的“Inputs/Outputs”部分。默认值：Falsedropout – 如果非零，则在每个 LSTM 层的输出上引入一个 Dropout 层，除了最后一层，dropout 概率等于
dropout。默认值：0bidirectional – 如果
True，则成为双向 LSTM。默认值：Falseproj_size – 如果
> 0，将使用具有相应大小投影的 LSTM。默认值：0
- 输入: input, (h_0, c_0)
input: 形状为 的张量，用于非批量输入，当
batch_first=False时形状为 ，或者当batch_first=True时形状为 的张量，包含输入序列的特征。输入也可以是打包的可变长度序列。有关详细信息，请参见torch.nn.utils.rnn.pack_padded_sequence()或torch.nn.utils.rnn.pack_sequence()。h_0: 形状为 的张量，用于非批量输入，或者形状为 的张量，包含输入序列中每个元素的初始隐藏状态。如果未提供 (h_0, c_0)，则默认为零。
c_0: 形状为 的张量，用于非批量输入，或者形状为 的张量，包含输入序列中每个元素的初始细胞状态。如果未提供 (h_0, c_0)，则默认为零。
其中
- 输出： output, (h_n, c_n)
output：形状为 的张量，适用于未批处理的输入；当
batch_first=False时，形状为 ；当batch_first=True时，形状为 ，包含 LSTM 最后一层的输出特征 (h_t)，针对每个时间步 t。如果输入是torch.nn.utils.rnn.PackedSequence，则输出也将是一个 packed sequence。当bidirectional=True时，output 将包含序列中每个时间步的前向和反向隐藏状态的拼接。h_n：形状为 的张量，适用于未批处理的输入；或形状为 ，包含序列中每个元素的最终隐藏状态。当
bidirectional=True时，h_n 将分别包含最终的前向和反向隐藏状态的拼接。c_n：形状为 的张量，适用于未批处理的输入；或形状为 ，包含序列中每个元素的最终细胞状态。当
bidirectional=True时，c_n 将分别包含最终的前向和反向细胞状态的拼接。
- 变量
weight_ih_l[k] – 第 层的可学习输入-隐藏层权重 (W_ii|W_if|W_ig|W_io)，当 k = 0 时，形状为 (4*hidden_size, input_size)。否则，形状为 (4*hidden_size, num_directions * hidden_size)。如果指定了
proj_size > 0，则当 k > 0 时，形状将为 (4*hidden_size, num_directions * proj_size)。weight_hh_l[k] – 第 层的可学习隐藏层-隐藏层权重 (W_hi|W_hf|W_hg|W_ho)，形状为 (4*hidden_size, hidden_size)。如果指定了
proj_size > 0，则形状将为 (4*hidden_size, proj_size)。bias_ih_l[k] – 第 层的可学习输入-隐藏层偏置 (b_ii|b_if|b_ig|b_io)，形状为 (4*hidden_size)。
bias_hh_l[k] – 第 层的可学习隐藏层-隐藏层偏置 (b_hi|b_hf|b_hg|b_ho)，形状为 (4*hidden_size)。
weight_hr_l[k] – 第 层的可学习投影权重，形状为 (proj_size, hidden_size)。仅当指定了
proj_size > 0时才存在。weight_ih_l[k]_reverse – 类似于反向的 weight_ih_l[k]。仅当
bidirectional=True时才存在。weight_hh_l[k]_reverse – 类似于反向的 weight_hh_l[k]。仅当
bidirectional=True时才存在。bias_ih_l[k]_reverse – 类似于反向的 bias_ih_l[k]。仅当
bidirectional=True时才存在。bias_hh_l[k]_reverse – 类似于反向的 bias_hh_l[k]。仅当
bidirectional=True时才存在。weight_hr_l[k]_reverse – 类似于反向的 weight_hr_l[k]。仅当
bidirectional=True且指定了proj_size > 0时才存在。
注意
所有的权重和偏置都从 的均匀分布中初始化，其中 。
注意
对于双向 LSTM，前向和后向分别是方向 0 和 1。当
batch_first=False时，分割输出层的示例：output.view(seq_len, batch, num_directions, hidden_size)。注意
对于双向 LSTM，h_n 不等同于 output 的最后一个元素；前者包含最终的前向和反向隐藏状态，而后者包含最终的前向隐藏状态和初始的反向隐藏状态。
注意
对于未批处理的输入，
batch_first参数会被忽略。注意
proj_size应该小于hidden_size。警告
在某些版本的 cuDNN 和 CUDA 上，RNN 函数存在已知的非确定性问题。您可以通过设置以下环境变量来强制执行确定性行为。
在 CUDA 10.1 上，设置环境变量
CUDA_LAUNCH_BLOCKING=1。 这可能会影响性能。在 CUDA 10.2 或更高版本上，设置环境变量（注意前导冒号符号）
CUBLAS_WORKSPACE_CONFIG=:16:8或CUBLAS_WORKSPACE_CONFIG=:4096:2。有关更多信息，请参阅 cuDNN 8 发行说明。
注意
如果满足以下条件：1) 启用了 cudnn，2) 输入数据在 GPU 上，3) 输入数据的数据类型为
torch.float16，4) 使用了 V100 GPU，5) 输入数据不是PackedSequence格式，则可以选择持久算法以提高性能。示例
>>> rnn = nn.LSTM(10, 20, 2) >>> input = torch.randn(5, 3, 10) >>> h0 = torch.randn(2, 3, 20) >>> c0 = torch.randn(2, 3, 20) >>> output, (hn, cn) = rnn(input, (h0, c0))
