GRU

class torch.nn.GRU(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)

将多层门控循环单元 (GRU) RNN 应用于输入序列。对于输入序列中的每个元素，每一层计算以下函数

其中 $h_t$ 是时间步 t 的隐藏状态, $x_t$ 是时间步 t 的输入, $h_{(t-1)}$ 是时间步 t-1 的层隐藏状态或时间步 0 的初始隐藏状态, 以及 $r_t$, $z_t$, $n_t$ 分别是重置门、更新门和新门。$\sigma$ 是 sigmoid 函数，而 $\odot$ 是 Hadamard 积。

在多层 GRU 中，第 $l$ 层 ($l \ge 2$) 的输入 $x^{(l)}_t$ 是前一层的隐藏状态 $h^{(l-1)}_t$ 乘以 dropout $\delta^{(l-1)}_t$，其中每个 $\delta^{(l-1)}_t$ 是一个伯努利随机变量，其概率为 dropout 时为 $0$。

参数

• input_size – 输入 x 中预期特征的数量

• hidden_size – 隐藏状态 h 中的特征数量

• num_layers – 循环层数。例如，设置 num_layers=2 将意味着堆叠两个 GRU 以形成一个 stacked GRU，第二个 GRU 接收第一个 GRU 的输出并计算最终结果。默认值：1

• bias – 如果为 False，则该层不使用偏置权重 b_ih 和 b_hh。默认值：True

• batch_first – 如果为 True，则输入和输出张量以 (batch, seq, feature) 而不是 (seq, batch, feature) 的形式提供。请注意，这不适用于隐藏状态或单元状态。有关详细信息，请参见下面的“Inputs/Outputs”部分。默认值：False

• dropout – 如果为非零值，则在除最后一层之外的每个 GRU 层的输出上引入一个 Dropout 层，dropout 概率等于 dropout。默认值：0

• bidirectional – 如果为 True，则变为双向 GRU。默认值：False

输入：input, h_0

• input: 形状为 $(L, H_{in})$ 的张量，用于未批处理的输入；当 batch_first=False 时，形状为 $(L, N, H_{in})$ ；当 batch_first=True 时，形状为 $(N, L, H_{in})$ ，其中包含输入序列的特征。输入也可以是打包的可变长度序列。 有关详细信息，请参见 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence() 。

• h_0: 形状为 $(D * \text{num\_layers}, H_{out})$ 或 $(D * \text{num\_layers}, N, H_{out})$ 的张量，包含输入序列的初始隐藏状态。如果未提供，则默认为零。

其中

$$\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}$$

输出： output, h_n

• output: 对于未批处理的输入，形状为 $(L, D * H_{out})$ 的张量，当 batch_first=False 时，形状为 $(L, N, D * H_{out})$，或者当 batch_first=True 时，形状为 $(N, L, D * H_{out})$ 的张量，包含来自 GRU 最后一层的输出特征 (h_t)，针对每个时间步 t。如果输入是 torch.nn.utils.rnn.PackedSequence，则输出也将是 packed sequence。

• h_n: 形状为 $(D * \text{num\_layers}, H_{out})$ 或 $(D * \text{num\_layers}, N, H_{out})$ 的张量，包含输入序列的最终隐藏状态。

变量

• weight_ih_l[k] – 第 $\text{k}^{th}$ 层 (W_ir|W_iz|W_in) 的可学习的输入到隐藏层的权重，对于 k = 0，形状为 (3*hidden_size, input_size)。 否则，形状为 (3*hidden_size, num_directions * hidden_size)

• weight_hh_l[k] – 第 $\text{k}^{th}$ 层的可学习的隐层-隐层权重 (W_hr|W_hz|W_hn)，形状为 (3*hidden_size, hidden_size)

• bias_ih_l[k] – 第 $\text{k}^{th}$ 层的可学习的输入层-隐层偏置 (b_ir|b_iz|b_in)，形状为 (3*hidden_size)

• bias_hh_l[k] – 第 $\text{k}^{th}$ 层的可学习的隐层-隐层偏置 (b_hr|b_hz|b_hn)，形状为 (3*hidden_size)

注意

所有的权重和偏置都从 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 的均匀分布中初始化，其中 $k = \frac{1}{\text{hidden\_size}}$

注意

对于双向 GRU，前向和后向分别是方向 0 和 1。当 batch_first=False 时，分割输出层的示例：output.view(seq_len, batch, num_directions, hidden_size)。

注意

对于未批处理的输入，batch_first 参数将被忽略。

注意

新门 $n_t$ 的计算与原始论文和其他框架略有不同。在原始实现中，Hadamard 积 $(\odot)$ 在 $r_t$ 和先前的隐藏状态 $h_{(t-1)}$ 之间完成，然后再与权重矩阵 W 相乘并加上偏置。

$$\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + W_{hn} ( r_t \odot h_{(t-1)} ) + b_{hn}) \end{aligned}$$

这与 PyTorch 的实现形成对比，PyTorch 的实现是在 $W_{hn} h_{(t-1)}$ 之后完成的。

$$\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \end{aligned}$$

此实现方式出于效率考虑，与文档描述的有所不同。

注意

如果满足以下条件：1) 启用 cudnn，2) 输入数据在 GPU 上，3) 输入数据类型 (dtype) 为 torch.float16，4) 使用 V100 GPU，5) 输入数据不是 PackedSequence 格式，则可以选择持久算法以提高性能。

示例

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)