RNN¶
- class torch.nn.RNN(input_size, hidden_size, num_layers=1, nonlinearity='tanh', bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)[source]¶
将具有 或 非线性度的多层 Elman RNN 应用于输入序列。对于输入序列中的每个元素,每层计算以下函数
其中 是时间 t 的隐藏状态, 是时间 t 的输入,以及 是时间 t-1 之前层的隐藏状态,或时间 0 的初始隐藏状态。如果
nonlinearity
是'relu'
,则使用 代替 .# Efficient implementation equivalent to the following with bidirectional=False def forward(x, h_0=None): if batch_first: x = x.transpose(0, 1) seq_len, batch_size, _ = x.size() if h_0 is None: h_0 = torch.zeros(num_layers, batch_size, hidden_size) h_t_minus_1 = h_0 h_t = h_0 output = [] for t in range(seq_len): for layer in range(num_layers): h_t[layer] = torch.tanh( x[t] @ weight_ih[layer].T + bias_ih[layer] + h_t_minus_1[layer] @ weight_hh[layer].T + bias_hh[layer] ) output.append(h_t[-1]) h_t_minus_1 = h_t output = torch.stack(output) if batch_first: output = output.transpose(0, 1) return output, h_t
- 参数
input_size – 输入 x 中预期特征的数量
hidden_size – 隐藏状态 h 中特征的数量
num_layers – 循环层的数量。例如,设置
num_layers=2
表示将两个 RNN 堆叠在一起形成一个 stacked RNN,第二个 RNN 接收第一个 RNN 的输出并计算最终结果。默认值:1nonlinearity – 要使用的非线性函数。可以是
'tanh'
或'relu'
。默认值:'tanh'
bias – 如果为
False
,则该层不使用偏差权重 b_ih 和 b_hh。默认值:True
batch_first – 如果为
True
,则输入和输出张量以 (batch, seq, feature) 格式提供,而不是 (seq, batch, feature)。请注意,这并不适用于隐藏状态或单元状态。有关详细信息,请参阅下面的输入/输出部分。默认值:False
dropout – 如果不为零,则在除最后一层之外的每个 RNN 层的输出上引入一个 Dropout 层,其丢弃概率等于
dropout
。默认值:0bidirectional – 如果为
True
,则成为双向 RNN。默认值:False
- 输入:input, h_0
输入:形状为 的张量,用于非批次输入, 当
batch_first=False
或 当batch_first=True
,包含输入序列的特征。输入也可以是打包的变长序列。有关详细信息,请参阅torch.nn.utils.rnn.pack_padded_sequence()
或torch.nn.utils.rnn.pack_sequence()
。h_0:形状为 的张量,用于非批次输入,或者 ,包含输入序列批次的初始隐藏状态。如果未提供,则默认为零。
其中
- 输出:output, h_n
输出: 形状为 的张量,用于非批量输入, 当
batch_first=False
或 当batch_first=True
时,包含 RNN 最后一层中每个 t 的输出特征 (h_t)。如果输入是torch.nn.utils.rnn.PackedSequence
,则输出也将是打包的序列。h_n: 形状为 的张量,用于非批量输入,或者 ,包含批次中每个元素的最终隐藏状态。
- 变量
weight_ih_l[k] – 第 k 层的可学习输入-隐藏权重,形状为 (hidden_size, input_size),对于 k = 0。否则,形状为 (hidden_size, num_directions * hidden_size)
weight_hh_l[k] – 第 k 层的可学习隐藏-隐藏权重,形状为 (hidden_size, hidden_size)
bias_ih_l[k] – 第 k 层的可学习输入-隐藏偏差,形状为 (hidden_size)
bias_hh_l[k] – 第 k 层的可学习隐藏-隐藏偏差,形状为 (hidden_size)
注意
所有权重和偏差都从 初始化,其中
注意
对于双向 RNN,正向和反向分别是方向 0 和 1。当
batch_first=False
时,拆分输出层的示例:output.view(seq_len, batch, num_directions, hidden_size)
。注意
batch_first
参数对于非批量输入被忽略。警告
一些版本的 cuDNN 和 CUDA 中,RNN 函数存在已知的非确定性问题。可以通过设置以下环境变量强制确定性行为。
在 CUDA 10.1 上,设置环境变量
CUDA_LAUNCH_BLOCKING=1
。这可能会影响性能。在 CUDA 10.2 或更高版本上,设置环境变量(注意开头的冒号符号)
CUBLAS_WORKSPACE_CONFIG=:16:8
或CUBLAS_WORKSPACE_CONFIG=:4096:2
。有关更多信息,请参阅 cuDNN 8 发行说明。
注意
如果满足以下条件:1) 启用了 cudnn,2) 输入数据位于 GPU 上,3) 输入数据的数据类型为
torch.float16
,4) 使用了 V100 GPU,5) 输入数据不是PackedSequence
格式,可以选择持久算法来提高性能。示例
>>> rnn = nn.RNN(10, 20, 2) >>> input = torch.randn(5, 3, 10) >>> h0 = torch.randn(2, 3, 20) >>> output, hn = rnn(input, h0)