Tacotron2¶
- class torchaudio.models.Tacotron2(mask_padding: bool = False, n_mels: int = 80, n_symbol: int = 148, n_frames_per_step: int = 1, symbol_embedding_dim: int = 512, encoder_embedding_dim: int = 512, encoder_n_convolution: int = 3, encoder_kernel_size: int = 5, decoder_rnn_dim: int = 1024, decoder_max_step: int = 2000, decoder_dropout: float = 0.1, decoder_early_stopping: bool = True, attention_rnn_dim: int = 1024, attention_hidden_dim: int = 128, attention_location_n_filter: int = 32, attention_location_kernel_size: int = 31, attention_dropout: float = 0.1, prenet_dim: int = 256, postnet_n_convolution: int = 5, postnet_kernel_size: int = 5, postnet_embedding_dim: int = 512, gate_threshold: float = 0.5)[source]¶
Tacotron2 模型，源自 Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions [Shen et al., 2018]，基于 Nvidia Deep Learning Examples 的实现。
另请参阅
torchaudio.pipelines.Tacotron2TTSBundle：带有预训练模型的 TTS 管道。
- 参数：:
mask_padding (bool, optional) – 使用掩码填充（默认值：
False）。n_mels (int, optional) – 梅尔 bin 的数量（默认值：
80）。n_symbol (int, optional) – 输入文本的符号数量（默认值：
148）。n_frames_per_step (int, optional) – 每步处理的帧数，仅支持 1（默认值：
1）。symbol_embedding_dim (int, optional) – 输入嵌入维度（默认值：
512）。encoder_n_convolution (int, optional) – 编码器卷积的数量（默认值：
3）。encoder_kernel_size (int, optional) – 编码器内核大小（默认值：
5）。encoder_embedding_dim (int, optional) – 编码器嵌入维度（默认值：
512）。decoder_rnn_dim (int, optional) – 解码器 LSTM 中的单元数（默认值：
1024）。decoder_max_step (int, optional) – 输出梅尔频谱图的最大数量（默认值：
2000）。decoder_dropout (float, optional) – 解码器 LSTM 的 dropout 概率（默认值：
0.1）。decoder_early_stopping (bool, optional) – 在所有样本完成后继续解码（默认值：
True）。attention_rnn_dim (int, optional) – 注意力 LSTM 中的单元数（默认值：
1024）。attention_hidden_dim (int, optional) – 注意力隐藏表示的维度（默认值：
128）。attention_location_n_filter (int, optional) – 注意力模型的滤波器数量（默认值：
32）。attention_location_kernel_size (int, optional) – 注意力模型的内核大小（默认值：
31）。attention_dropout (float, optional) – 注意力 LSTM 的 dropout 概率（默认值：
0.1）。prenet_dim (int, optional) – prenet 层中 ReLU 单元的数量（默认值：
256）。postnet_n_convolution (int, optional) – postnet 卷积的数量（默认值：
5）。postnet_kernel_size (int, optional) – Postnet 内核大小（默认值：
5）。postnet_embedding_dim (int, optional) – Postnet 嵌入维度（默认值：
512）。gate_threshold (float, optional) – 停止令牌的概率阈值（默认值：
0.5）。
- 使用
Tacotron2的教程
方法¶
forward¶
- Tacotron2.forward(tokens: Tensor, token_lengths: Tensor, mel_specgram: Tensor, mel_specgram_lengths: Tensor) Tuple[Tensor, Tensor, Tensor, Tensor][source]¶
将输入传递到 Tacotron2 模型。这处于教师强制模式，通常用于训练。
输入 tokens 应使用零填充到 token_lengths 的最大长度。输入 mel_specgram 应使用零填充到 mel_specgram_lengths 的最大长度。
- 参数：:
tokens (Tensor) – Tacotron2 的输入 tokens，形状为 (n_batch, token_lengths 的最大值)。
token_lengths (Tensor) – tokens 中每个样本的有效长度，形状为 (n_batch, )。
mel_specgram (Tensor) – 目标梅尔频谱图，形状为 (n_batch, n_mels, mel_specgram_lengths 的最大值)。
mel_specgram_lengths (Tensor) – 每个梅尔频谱图的长度，形状为 (n_batch, )。
- 返回：:
- Tensor
Postnet 之前的梅尔频谱图，形状为 (n_batch, n_mels, mel_specgram_lengths 的最大值)。
- Tensor
Postnet 之后的梅尔频谱图，形状为 (n_batch, n_mels, mel_specgram_lengths 的最大值)。
- Tensor
每个时间步停止令牌的输出，形状为 (n_batch, mel_specgram_lengths 的最大值)。
- Tensor
来自解码器的注意力权重序列，形状为 (n_batch, mel_specgram_lengths 的最大值, token_lengths 的最大值)。
- 返回类型：:
[Tensor, Tensor, Tensor, Tensor]
infer¶
- Tacotron2.infer(tokens: Tensor, lengths: Optional[Tensor] = None) Tuple[Tensor, Tensor, Tensor][source]¶
使用 Tacotron2 进行推理。输入是一批编码后的句子 (tokens) 及其对应的长度 (lengths)。输出是生成的梅尔频谱图、其对应的长度以及来自解码器的注意力权重。
输入 tokens 应使用零填充到 lengths 的最大长度。
- 参数：:
tokens (Tensor) – Tacotron2 的输入 tokens，形状为 (n_batch, lengths 的最大值)。
lengths (Tensor 或 None, optional) – tokens 中每个样本的有效长度，形状为 (n_batch, )。如果为
None，则假定所有 tokens 均有效。默认值：None
- 返回：:
- Tensor
预测的梅尔频谱图，形状为 (n_batch, n_mels, mel_specgram_lengths 的最大值)。
- Tensor
预测的梅尔频谱图的长度，形状为 (n_batch, )。
- Tensor
来自解码器的注意力权重序列，形状为 (n_batch, mel_specgram_lengths 的最大值, lengths 的最大值)。
- 返回类型：:
(Tensor, Tensor, Tensor)
