torchaudio.prototype.models.conformer_wav2vec2_model

torchaudio.prototype.models.conformer_wav2vec2_model(extractor_input_dim: int, extractor_output_dim: int, extractor_stride: int, encoder_embed_dim: int, encoder_projection_dropout: float, encoder_num_layers: int, encoder_num_heads: int, encoder_ff_interm_features: int, encoder_depthwise_conv_kernel_size: Union[int, List[int]], encoder_dropout: float, encoder_convolution_first: bool, encoder_use_group_norm: bool) → Wav2Vec2Model

构建自定义 Conformer Wav2Vec2Model

参数:

• extractor_input_dim (int) – 特征的输入维度。

• extractor_output_dim (int) – 特征提取后的输出维度。

• extractor_stride (int) – 特征提取的时间缩减层中使用的步幅。

• encoder_embed_dim (int) – 特征投影中嵌入的维度。

• encoder_projection_dropout (float) – 将输入特征投影到 embed_dim 后应用的 dropout 概率

• encoder_num_layers (int) – 编码器中 Conformer 层的数量。

• encoder_num_heads (int) – 每个 Conformer 层中的头数。

• encoder_ff_interm_features (int) – 每个 Conformer 层中前馈网络的隐藏层维度。

• encoder_depthwise_conv_kernel_size (int 或 List[int]) – 与每个 Conformer 层对应的内核大小列表。如果提供 int，则所有层将具有相同的内核大小。

• encoder_dropout (float) – 每个 Conformer 层中的 Dropout 概率。

• encoder_convolution_first (bool) – 是否在每个 Conformer 层中的注意力模块之前应用卷积模块。

• encoder_use_group_norm (bool) – 是否在每个 Conformer 层中的卷积模块中使用 GroupNorm 而不是 BatchNorm1d。

返回:

带有 conformer 编码器的结果 wav2vec2 模型。

返回类型:

Wav2Vec2Model