快捷方式

TransformerDecoder

class torch.nn.TransformerDecoder(decoder_layer, num_layers, norm=None)[源代码]

TransformerDecoder 是 N 个解码器层的堆栈。

参数
  • decoder_layer (TransformerDecoderLayer) – TransformerDecoderLayer() 类的实例(必需)。

  • num_layers (int) – 解码器中子解码器层的数量(必需)。

  • norm (Optional[Module]) – 层归一化组件(可选)。

示例:
>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> transformer_decoder = nn.TransformerDecoder(decoder_layer, num_layers=6)
>>> memory = torch.rand(10, 32, 512)
>>> tgt = torch.rand(20, 32, 512)
>>> out = transformer_decoder(tgt, memory)
forward(tgt, memory, tgt_mask=None, memory_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, tgt_is_causal=None, memory_is_causal=False)[源代码]

依次将输入(和掩码)通过解码器层。

参数
  • tgt (Tensor) – 传递给解码器的序列(必需)。

  • memory (Tensor) – 来自编码器最后一层的序列(必需)。

  • tgt_mask (Optional[Tensor]) – tgt 序列的掩码(可选)。

  • memory_mask (Optional[Tensor]) – memory 序列的掩码(可选)。

  • tgt_key_padding_mask (Optional[Tensor]) – 每个批次的 tgt 密钥的掩码(可选)。

  • memory_key_padding_mask (Optional[Tensor]) – 每个批次的 memory 密钥的掩码(可选)。

  • tgt_is_causal (Optional[bool]) – 如果指定,则应用因果掩码作为 tgt mask。默认值:None;尝试检测因果掩码。警告:tgt_is_causal 提供了一个提示,表明 tgt_mask 是因果掩码。提供错误的提示会导致执行错误,包括向前和向后兼容性。

  • memory_is_causal (bool) – 如果指定,则应用因果掩码作为 memory mask。默认值:False。警告:memory_is_causal 提供了一个提示,表明 memory_mask 是因果掩码。提供错误的提示会导致执行错误,包括向前和向后兼容性。

返回类型

张量

形状

请参阅 Transformer 中的文档。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取适合初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源