快捷方式

LSTM

class torch.nn.LSTM(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, proj_size=0, device=None, dtype=None)[source]

将多层长短期记忆 (LSTM) RNN 应用于输入序列。对于输入序列中的每个元素,每一层都会计算以下函数

it=σ(Wiixt+bii+Whiht1+bhi)ft=σ(Wifxt+bif+Whfht1+bhf)gt=tanh(Wigxt+big+Whght1+bhg)ot=σ(Wioxt+bio+Whoht1+bho)ct=ftct1+itgtht=ottanh(ct)\begin{array}{ll} \\ i_t = \sigma(W_{ii} x_t + b_{ii} + W_{hi} h_{t-1} + b_{hi}) \\ f_t = \sigma(W_{if} x_t + b_{if} + W_{hf} h_{t-1} + b_{hf}) \\ g_t = \tanh(W_{ig} x_t + b_{ig} + W_{hg} h_{t-1} + b_{hg}) \\ o_t = \sigma(W_{io} x_t + b_{io} + W_{ho} h_{t-1} + b_{ho}) \\ c_t = f_t \odot c_{t-1} + i_t \odot g_t \\ h_t = o_t \odot \tanh(c_t) \\ \end{array}

其中,hth_t是时间t处的隐藏状态,ctc_t是时间t处的细胞状态,xtx_t是时间t处的输入,ht1h_{t-1}是时间t-1层或时间0处的初始隐藏状态,以及iti_tftf_tgtg_toto_t分别是输入门、遗忘门、细胞门和输出门。σ\sigma是sigmoid函数,\odot是哈达玛积。

在多层LSTM中,第ll层(l2l \ge 2)的输入xt(l)x^{(l)}_t是前一层的隐藏状态ht(l1)h^{(l-1)}_t乘以dropout δt(l1)\delta^{(l-1)}_t,其中每个δt(l1)\delta^{(l-1)}_t是一个伯努利随机变量,以概率dropout00

如果指定了 proj_size > 0,则将使用带投影的 LSTM。这会以下列方式更改 LSTM 单元格。首先,hth_t 的维度将从 hidden_size 更改为 proj_sizeWhiW_{hi} 的维度将相应更改)。其次,每一层的输出隐藏状态将乘以一个可学习的投影矩阵:ht=Whrhth_t = W_{hr}h_t。请注意,因此,LSTM 网络的输出也将具有不同的形状。有关所有变量的确切维度,请参见下面的输入/输出部分。您可以在 https://arxiv.org/abs/1402.1128 中找到更多详细信息。

参数
  • input_size – 输入 x 中预期的特征数量

  • hidden_size – 隐藏状态 h 中的特征数量

  • num_layers – 循环层的数量。例如,设置 num_layers=2 表示将两个 LSTM 堆叠在一起形成一个 stacked LSTM,其中第二个 LSTM 接收第一个 LSTM 的输出并计算最终结果。默认值:1

  • bias – 如果 False,则该层不使用偏差权重 b_ihb_hh。默认值:True

  • batch_first – 如果 True,则输入和输出张量将以 (batch, seq, feature) 而不是 (seq, batch, feature) 的形式提供。请注意,这并不适用于隐藏状态或单元状态。有关详细信息,请参见下面的输入/输出部分。默认值:False

  • dropout – 如果非零,则在除最后一层之外的每个 LSTM 层的输出上引入一个 Dropout 层,其 dropout 概率等于 dropout。默认值:0

  • bidirectional – 如果 True,则变为双向 LSTM。默认值:False

  • proj_size – 如果 > 0,则将使用具有相应大小的投影的 LSTM。默认值:0

输入:input, (h_0, c_0)
  • input: 未批处理输入的形状为 (L,Hin)(L, H_{in}) 的张量,当 batch_first=False 时形状为 (L,N,Hin)(L, N, H_{in}),当 batch_first=True 时形状为 (N,L,Hin)(N, L, H_{in}),包含输入序列的特征。输入也可以是打包的可变长度序列。有关详细信息,请参见 torch.nn.utils.rnn.pack_padded_sequence()torch.nn.utils.rnn.pack_sequence()

  • h_0: 未批处理输入的形状为 (Dnum_layers,Hout)(D * \text{num\_layers}, H_{out}) 或形状为 (Dnum_layers,N,Hout)(D * \text{num\_layers}, N, H_{out}) 的张量,包含输入序列中每个元素的初始隐藏状态。如果未提供 (h_0, c_0),则默认为零。

  • c_0: 形状为 (Dnum_layers,Hcell)(D * \text{num\_layers}, H_{cell}) 的张量,用于非批处理输入,或形状为 (Dnum_layers,N,Hcell)(D * \text{num\_layers}, N, H_{cell}) 的张量,用于批处理输入。包含输入序列中每个元素的初始单元状态。如果未提供 (h_0, c_0),则默认为零。

其中

N=批大小L=序列长度D=2 如果 bidirectional=True 否则 1Hin=输入大小Hcell=隐藏层大小Hout=投影大小 如果 proj_size>0 否则 隐藏层大小\begin{aligned} N ={} & \text{批大小} \\ L ={} & \text{序列长度} \\ D ={} & 2 \text{ 如果 bidirectional=True 否则 } 1 \\ H_{in} ={} & \text{输入大小} \\ H_{cell} ={} & \text{隐藏层大小} \\ H_{out} ={} & \text{投影大小 如果 proj_size>0 否则 隐藏层大小} \\ \end{aligned}
输出: output, (h_n, c_n)
  • output: 形状为 (L,DHout)(L, D * H_{out}) 的张量,用于非批处理输入,或形状为 (L,N,DHout)(L, N, D * H_{out}) 的张量(当 batch_first=False 时),或形状为 (N,L,DHout)(N, L, D * H_{out}) 的张量(当 batch_first=True 时),包含 LSTM 最后一层每个时间步 t 的输出特征 (h_t)。如果输入是 torch.nn.utils.rnn.PackedSequence,则输出也将是打包序列。当 bidirectional=True 时,output 将包含序列中每个时间步的前向和反向隐藏状态的连接。

  • h_n:形状为 (Dnum_layers,Hout)(D * \text{num\_layers}, H_{out}) 的张量,用于非批处理输入,或者形状为 (Dnum_layers,N,Hout)(D * \text{num\_layers}, N, H_{out}) 的张量,包含序列中每个元素的最终隐藏状态。当 bidirectional=True 时,h_n 将包含最终前向和反向隐藏状态的拼接。

  • c_n:形状为 (Dnum_layers,Hcell)(D * \text{num\_layers}, H_{cell}) 的张量,用于非批处理输入,或者形状为 (Dnum_layers,N,Hcell)(D * \text{num\_layers}, N, H_{cell}) 的张量,包含序列中每个元素的最终细胞状态。当 bidirectional=True 时,c_n 将包含最终前向和反向细胞状态的拼接。

变量
  • weight_ih_l[k] – 第 kth\text{k}^{th} 层的可学习输入-隐藏权重 (W_ii|W_if|W_ig|W_io),对于 k = 0,形状为 (4*hidden_size, input_size)。否则,形状为 (4*hidden_size, num_directions * hidden_size)。如果指定了 proj_size > 0,则对于 k > 0,形状将为 (4*hidden_size, num_directions * proj_size)

  • weight_hh_l[k] – 第 kth\text{k}^{th} 层的可学习隐藏-隐藏权重 (W_hi|W_hf|W_hg|W_ho),形状为 (4*hidden_size, hidden_size)。如果指定了 proj_size > 0,则形状将为 (4*hidden_size, proj_size)

  • bias_ih_l[k] – 第 kth\text{k}^{th} 层的可学习输入-隐藏偏置 (b_ii|b_if|b_ig|b_io),形状为 (4*hidden_size)

  • bias_hh_l[k] – 第 kth\text{k}^{th} 层的可学习隐藏-隐藏偏置 (b_hi|b_hf|b_hg|b_ho),形状为 (4*hidden_size)

  • weight_hr_l[k] – 第 kth\text{k}^{th} 层的可学习投影权重,形状为 (proj_size, hidden_size)。仅当指定了 proj_size > 0 时存在。

  • weight_ih_l[k]_reverse – 与反向方向的 weight_ih_l[k] 相同。仅当 bidirectional=True 时存在。

  • weight_hh_l[k]_reverse – 与反向方向的 weight_hh_l[k] 相同。仅当 bidirectional=True 时存在。

  • bias_ih_l[k]_reverse – 与反向方向的 bias_ih_l[k] 相同。仅当 bidirectional=True 时存在。

  • bias_hh_l[k]_reverse – 与反向方向的 bias_hh_l[k] 相同。仅当 bidirectional=True 时存在。

  • weight_hr_l[k]_reverse – 与反向方向的 weight_hr_l[k] 相同。仅当 bidirectional=True 且指定了 proj_size > 0 时存在。

注意

所有权重和偏置都从 U(k,k)\mathcal{U}(-\sqrt{k}, \sqrt{k}) 初始化,其中 k=1hidden_sizek = \frac{1}{\text{hidden\_size}}

注意

对于双向 LSTMs,前向和后向分别对应方向 0 和 1。当 batch_first=False 时,输出层分割的示例:output.view(seq_len, batch, num_directions, hidden_size)

注意

对于双向 LSTMs,h_n 不等价于 output 的最后一个元素;前者包含最终的前向和反向隐藏状态,而后者包含最终的前向隐藏状态和初始的反向隐藏状态。

注意

batch_first 参数对于非批处理输入会被忽略。

注意

proj_size 应该小于 hidden_size

警告

在某些版本的 cuDNN 和 CUDA 上,RNN 函数存在已知的非确定性问题。您可以通过设置以下环境变量来强制确定性行为

在 CUDA 10.1 上,设置环境变量 CUDA_LAUNCH_BLOCKING=1。这可能会影响性能。

在 CUDA 10.2 或更高版本上,设置环境变量(注意开头的冒号符号)CUBLAS_WORKSPACE_CONFIG=:16:8CUBLAS_WORKSPACE_CONFIG=:4096:2

有关更多信息,请参阅 cuDNN 8 发行说明

注意

如果满足以下条件:1)启用了 cudnn,2)输入数据位于 GPU 上 3)输入数据的数据类型为 torch.float16 4)使用了 V100 GPU,5)输入数据不是 PackedSequence 格式,可以选择持久算法来提高性能。

示例

>>> rnn = nn.LSTM(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> c0 = torch.randn(2, 3, 20)
>>> output, (hn, cn) = rnn(input, (h0, c0))

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深度教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源