float8_static_activation_float8_weight

torchao.quantization.float8_static_activation_float8_weight(scale: Tensor, activation_dtype: dtype = torch.float8_e4m3fn, weight_dtype: dtype = torch.float8_e4m3fn, granularity: Optional[Union[PerTensor, PerRow, Tuple[Union[PerTensor, PerRow], Union[PerTensor, PerRow]]]] = None, mm_config: Optional[Float8MMConfig] = None)

对以下项应用 float8 静态对称量化

参数:

• scale (torch.Tensor) – 用于激活量化的比例张量。

• activation_dtype (torch.dtype) – 激活量化的目标数据类型。默认为 torch.float8_e4m

• weight_dtype (torch.dtype) – 权重（weight）量化的目标数据类型。默认为 torch.float8_e4m

• mm_config (Float8MMConfig) – 矩阵乘法的配置。默认使用快速累积。