TransformerDecoderLayer¶
- class torch.nn.TransformerDecoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None)[源代码]¶
TransformerDecoderLayer 由自注意力、多头注意力和前馈网络组成。
此标准解码器层基于论文“Attention Is All You Need”。Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N Gomez、Lukasz Kaiser 和 Illia Polosukhin。2017 年。注意力就是你所需要的一切。在神经信息处理系统进展中,第 6000-6010 页。用户可以在应用过程中以不同的方式修改或实现。
- 参数
d_model (int) – 输入中预期特征的数量(必需)。
nhead (int) – 多头注意力模型中的头数(必需)。
dim_feedforward (int) – 前馈网络模型的维度(默认值为 2048)。
dropout (float) – dropout 值(默认为 0.1)。
activation (Union[str, Callable[[Tensor], Tensor]]) – 中间层的激活函数,可以是字符串(“relu” 或 “gelu”)或一元可调用对象。默认值:relu
layer_norm_eps (float) – 层归一化组件中的 eps 值(默认为 1e-5)。
batch_first (bool) – 如果为
True
,则输入和输出张量将作为 (batch, seq, feature) 提供。默认值:False
(seq, batch, feature)。norm_first (bool) – 如果为
True
,则分别在自注意力、多头注意力和前馈操作之前执行层归一化。否则在之后执行。默认值:False
(之后)。bias (bool) – 如果设置为
False
,则Linear
和LayerNorm
层将不会学习累加偏差。默认值:True
。
- 示例:
>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8) >>> memory = torch.rand(10, 32, 512) >>> tgt = torch.rand(20, 32, 512) >>> out = decoder_layer(tgt, memory)
- 或者,当
batch_first
为True
时 >>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8, batch_first=True) >>> memory = torch.rand(32, 10, 512) >>> tgt = torch.rand(32, 20, 512) >>> out = decoder_layer(tgt, memory)
- forward(tgt, memory, tgt_mask=None, memory_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, tgt_is_causal=False, memory_is_causal=False)[源代码]¶
将输入(和掩码)通过解码器层。
- 参数
tgt (Tensor) – 解码器层的序列(必需)。
memory (Tensor) – 来自编码器最后一层的序列(必需)。
tgt_is_causal (布尔值) – 如果指定,则应用因果掩码作为
tgt mask
。默认值:False
。警告:tgt_is_causal
提示tgt_mask
是因果掩码。提供不正确的提示可能导致执行错误,包括向前和向后兼容性。memory_is_causal (布尔值) – 如果指定,则应用因果掩码作为
memory mask
。默认值:False
。警告:memory_is_causal
提示memory_mask
是因果掩码。提供不正确的提示可能导致执行错误,包括向前和向后兼容性。
- 返回类型
- 形状
参见
Transformer
中的文档。