torchaudio.prototype.models.emformer_hubert_model¶
- torchaudio.prototype.models.emformer_hubert_model(extractor_input_dim: int, extractor_output_dim: int, extractor_use_bias: bool, extractor_stride: int, encoder_input_dim: int, encoder_output_dim: int, encoder_num_heads: int, encoder_ffn_dim: int, encoder_num_layers: int, encoder_segment_length: int, encoder_left_context_length: int, encoder_right_context_length: int, encoder_dropout: float, encoder_activation: str, encoder_max_memory_size: int, encoder_weight_init_scale_strategy: Optional[str], encoder_tanh_on_mem: bool, aux_num_out: Optional[int]) Wav2Vec2Model[source]¶
构建自定义 Emformer HuBERT 模型。
- 参数：
extractor_input_dim (int) – 特征提取器的输入维度。
extractor_output_dim (int) – 特征提取器之后的输出维度。
extractor_use_bias (bool) – 如果为
True，则在特征提取器的线性层中启用偏差参数。extractor_stride (int) – 在特征提取器中，用于合并输出帧的帧数。
encoder_input_dim (int) – Emformer 层的输入维度。
encoder_output_dim (int) – EmformerEncoder 之后的输出维度。
encoder_num_heads (int) – 每个 Emformer 层中注意头的数量。
encoder_ffn_dim (int) – Emformer 中前馈网络的隐藏层维度。
encoder_num_layers (int) – 要实例化的 Emformer 层数。
encoder_segment_length (int) – 每个输入段的长度。
encoder_left_context_length (int) – 左边境的长度。
encoder_right_context_length (int) – 右边境的长度。
encoder_dropout (float) – 丢弃概率。
encoder_activation (str) – Emformer 层的每个前馈网络中使用的激活函数。必须是以下之一： (“relu”, “gelu”, “silu”)。
encoder_max_memory_size (int) – 要使用的最大内存元素数量。
encoder_weight_init_scale_strategy (str 或 None) – 每层的权重初始化缩放策略。必须是以下之一： (“depthwise”, “constant”,
None)。encoder_tanh_on_mem (bool) – 如果
True，则将 tanh 应用于内存元素。aux_num_out (int 或 None) – 当提供时，在编码器顶部附加一个额外的线性层，可用于微调。
- 返回:
生成的
torchaudio.models.Wav2Vec2Model模型，其中包含torchaudio.models.Emformer编码器。- 返回类型:
