float8_weight_only

torchao.quantization.float8_weight_only(weight_dtype: dtype = torch.float8_e4m3fn)

对线性层应用 float8 权重仅对称逐通道量化。

参数:

weight_dtype (torch.dtype) – 权重量化的目标数据类型。默认为 torch.float8_e4m3fn。

注意

实际的矩阵乘法将在权重张量的原始精度下计算。