torchaudio.prototype.models.conformer_wav2vec2_model¶
- torchaudio.prototype.models.conformer_wav2vec2_model(extractor_input_dim: int, extractor_output_dim: int, extractor_stride: int, encoder_embed_dim: int, encoder_projection_dropout: float, encoder_num_layers: int, encoder_num_heads: int, encoder_ff_interm_features: int, encoder_depthwise_conv_kernel_size: Union[int, List[int]], encoder_dropout: float, encoder_convolution_first: bool, encoder_use_group_norm: bool) Wav2Vec2Model[source]¶
构建自定义 Conformer Wav2Vec2Model
- 参数:
extractor_input_dim (int) – 特征的输入维度。
extractor_output_dim (int) – 特征提取后的输出维度。
extractor_stride (int) – 特征提取的时间缩减层中使用的步长。
encoder_embed_dim (int) – 特征投影中嵌入的维度。
encoder_projection_dropout (float) – 输入特征投影到
embed_dim后应用的 dropout 概率encoder_num_layers (int) – 编码器中 Conformer 层的数量。
encoder_num_heads (int) – 每个 Conformer 层中的头数量。
encoder_ff_interm_features (int) – 每个 Conformer 层中前馈网络的隐藏层维度。
encoder_depthwise_conv_kernel_size (int 或 List[int]) – 对应每个 Conformer 层的核大小列表。如果提供的是 int，则所有层将使用相同的核大小。
encoder_dropout (float) – 每个 Conformer 层中的 dropout 概率。
encoder_convolution_first (bool) – 是否在每个 Conformer 层的 attention 模块之前应用 convolution 模块。
encoder_use_group_norm (bool) – 是否在每个 Conformer 层的 convolution 模块中使用
GroupNorm而非BatchNorm1d。
- 返回:
带有 conformer 编码器的生成的 wav2vec2 模型。
- 返回类型:
