快捷方式

GRU

class torch.ao.nn.quantized.dynamic.GRU(*args, **kwargs)[source]

将多层门控循环单元 (GRU) RNN 应用于输入序列。

对于输入序列中的每个元素,每一层都计算以下函数

rt=σ(Wirxt+bir+Whrh(t1)+bhr)zt=σ(Wizxt+biz+Whzh(t1)+bhz)nt=tanh(Winxt+bin+rt(Whnh(t1)+bhn))ht=(1zt)nt+zth(t1)\begin{array}{ll} r_t = \sigma(W_{ir} x_t + b_{ir} + W_{hr} h_{(t-1)} + b_{hr}) \\ z_t = \sigma(W_{iz} x_t + b_{iz} + W_{hz} h_{(t-1)} + b_{hz}) \\ n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \\ h_t = (1 - z_t) \odot n_t + z_t \odot h_{(t-1)} \end{array}

其中 hth_t 是时间 t 时的隐藏状态,xtx_t 是时间 t 时的输入,h(t1)h_{(t-1)} 是时间 t-1 时该层的隐藏状态或时间 0 时的初始隐藏状态,而 rtr_tztz_tntn_t 分别是重置门、更新门和新门。 σ\sigma 是 sigmoid 函数,\odot 是 Hadamard 积。

在多层 GRU 中,第 ll 层 (l>=2l >= 2) 的输入 xt(l)x^{(l)}_t 是前一层隐藏状态 ht(l1)h^{(l-1)}_t 乘以 dropout δt(l1)\delta^{(l-1)}_t,其中每个 δt(l1)\delta^{(l-1)}_t 是一个伯努利随机变量,以概率 dropout 等于 00

参数
  • input_size – 输入 x 中期望的特征数量

  • hidden_size – 隐藏状态 h 中的特征数量

  • num_layers – 循环层的数量。例如,设置 num_layers=2 表示将两个 GRU 堆叠在一起形成一个 stacked GRU,第二个 GRU接收第一个 GRU 的输出并计算最终结果。默认值:1

  • bias – 如果 False,则该层不使用偏差权重 b_ihb_hh。默认值:True

  • batch_first – 如果 True,则输入和输出张量将以 (batch, seq, feature) 的形式提供。默认值:False

  • dropout – 如果非零,则在除最后一层之外的每个 GRU 层的输出上引入一个 Dropout 层,dropout 概率等于 dropout。默认值:0

  • bidirectional – 如果 True,则变为双向 GRU。默认值:False

输入:input, h_0
  • input 形状为 (seq_len, batch, input_size):包含输入序列特征的张量。输入也可以是打包的可变长度序列。有关详细信息,请参阅 torch.nn.utils.rnn.pack_padded_sequence()

  • h_0 形状为 (num_layers * num_directions, batch, hidden_size):包含批次中每个元素的初始隐藏状态的张量。如果未提供,则默认为零。如果 RNN 是双向的,则 num_directions 应为 2,否则应为 1。

输出:output, h_n
  • output 形状为 (seq_len, batch, num_directions * hidden_size):包含来自 GRU 最后一层的输出特征 h_t 的张量,对于每个 t。如果已将 torch.nn.utils.rnn.PackedSequence 作为输入给出,则输出也将是一个打包的序列。对于解包的情况,可以使用 output.view(seq_len, batch, num_directions, hidden_size) 分离方向,其中前向和后向分别为方向 01

    同样,可以在打包的情况下分离方向。

  • h_n 形状为 (num_layers * num_directions, batch, hidden_size):包含 t = seq_len 时刻隐藏状态的张量。

    output 类似,可以使用 h_n.view(num_layers, num_directions, batch, hidden_size) 将各层分离。

形状
  • 输入1:(L,N,Hin)(L, N, H_{in}) 张量,包含输入特征,其中 Hin=input_sizeH_{in}=\text{input\_size}L 表示序列长度。

  • 输入2:(S,N,Hout)(S, N, H_{out}) 张量,包含批次中每个元素的初始隐藏状态。 Hout=hidden_sizeH_{out}=\text{hidden\_size} 。如果未提供,则默认为零。其中 S=num_layersnum_directionsS=\text{num\_layers} * \text{num\_directions} 。如果 RNN 是双向的,则 num_directions 应为 2,否则应为 1。

  • 输出1:(L,N,Hall)(L, N, H_{all}),其中 Hall=num_directionshidden_sizeH_{all}=\text{num\_directions} * \text{hidden\_size}

  • 输出2:(S,N,Hout)(S, N, H_{out}) 张量,包含批次中每个元素的下一个隐藏状态。

变量
  • weight_ih_l[k] – 第 kth\text{k}^{th} 层的可学习输入-隐藏权重 (W_ir|W_iz|W_in),对于 k = 0,形状为 (3*hidden_size, input_size)。否则,形状为 (3*hidden_size, num_directions * hidden_size)

  • weight_hh_l[k] – 第 kth\text{k}^{th} 层的可学习隐藏-隐藏权重 (W_hr|W_hz|W_hn),形状为 (3*hidden_size, hidden_size)

  • bias_ih_l[k] – 第 kth\text{k}^{th} 层的可学习输入-隐藏偏置 (b_ir|b_iz|b_in),形状为 (3*hidden_size)

  • bias_hh_l[k] – 第 kth\text{k}^{th} 层的可学习隐藏-隐藏偏置 (b_hr|b_hz|b_hn),形状为 (3*hidden_size)

注意

所有权重和偏置都从U(k,k)\mathcal{U}(-\sqrt{k}, \sqrt{k}) 初始化,其中 k=1hidden_sizek = \frac{1}{\text{hidden\_size}}

注意

新门ntn_t的计算与原始论文和其他框架略有不同。在原始实现中,rtr_t与前一个隐藏状态h(t1)h_{(t-1)}之间的哈达玛积()(\odot)是在与权重矩阵W相乘并加上偏置之前进行的。

nt=tanh(Winxt+bin+Whn(rth(t1))+bhn)\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + W_{hn} ( r_t \odot h_{(t-1)} ) + b_{hn}) \end{aligned}

这与 PyTorch 的实现形成对比,PyTorch 的实现是在Whnh(t1)W_{hn} h_{(t-1)}之后进行的。

nt=tanh(Winxt+bin+rt(Whnh(t1)+bhn))\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \end{aligned}

此实现出于效率考虑而有意不同。

注意

如果满足以下条件:1) 启用了 cudnn,2) 输入数据位于 GPU 上 3) 输入数据的数据类型为 torch.float16 4) 使用 V100 GPU,5) 输入数据不是 PackedSequence 格式,则可以选择持久算法来提高性能。

示例

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源