快捷方式

TransformerEncoder

class torch.nn.TransformerEncoder(encoder_layer, num_layers, norm=None, enable_nested_tensor=True, mask_check=True)[source]

TransformerEncoder 是 N 个编码器层的堆栈。

用户可以使用相应的参数构建 BERT(https://arxiv.org/abs/1810.04805) 模型。

参数
  • encoder_layer (TransformerEncoderLayer) – TransformerEncoderLayer() 类的实例(必需)。

  • num_layers (int) – 编码器中的子编码器层数(必需)。

  • norm (可选[Module]) – 层归一化组件(可选)。

  • enable_nested_tensor (bool) – 如果为 True,输入将自动转换为嵌套张量(并在输出时转换回来)。当填充率很高时,这将提高 TransformerEncoder 的整体性能。默认值:True(已启用)。

示例:
>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6)
>>> src = torch.rand(10, 32, 512)
>>> out = transformer_encoder(src)
forward(src, mask=None, src_key_padding_mask=None, is_causal=None)[source]

依次通过编码器层传递输入。

参数
  • src (Tensor) – 编码器的序列(必需)。

  • mask (可选[Tensor]) – src 序列的掩码(可选)。

  • src_key_padding_mask (可选[Tensor]) – 每个批次的 src 密钥的掩码(可选)。

  • is_causal (可选[bool]) – 如果指定,将因果掩码应用为mask。默认值:None;尝试检测因果掩码。警告:is_causal 提供一个提示,表明 mask 是因果掩码。提供不正确的提示会导致不正确的执行,包括向前和向后兼容性。

返回类型

张量

形状

请参阅 Transformer 中的文档。

文档

访问 PyTorch 的综合开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源