dequantize_affine¶
- torchao.quantization.dequantize_affine(input: Tensor, block_size: Tuple[int, ...], scale: Tensor, zero_point: Optional[Tensor], input_dtype: dtype, quant_min: Optional[Union[int, float]] = None, quant_max: Optional[Union[int, float]] = None, zero_point_domain: ZeroPointDomain = ZeroPointDomain.INT, *, output_dtype: dtype = torch.float32) Tensor [源代码]¶
- 参数:
input (torch.Tensor) – 量化后的 tensor,应与 dtype 参数的 dtype 匹配
block_size – (List[int]): 量化的粒度,表示共享相同量化参数 (qparam) 的 tensor 元素的大小,例如当大小与输入 tensor 维度相同时,我们使用的是逐 tensor 量化
scale (Tensor) – 仿射量化的量化参数
zero_point (Tensor) – 仿射量化的量化参数
input_dtype (torch.dtype) – 输入 tensor 请求的 dtype(例如 torch.uint8)
quant_min (可选[int]) – 输入 tensor 的最小量化值
quant_max (可选[int]) – 输入 tensor 的最大量化值
output_dtype (torch.dtype) – 输出 tensor 的 dtype,默认为 fp32
zero_point_domain (ZeroPointDomain) – zero_point 所在的域,应为 integer 或 float;如果 zero_point 在 integer 域中,则在量化过程中将 zero_point 加到量化的整数值上;如果 zero_point 在 floating point 域中,则在量化过程中从浮点(未量化)值中减去 zero_point;默认为 ZeroPointDomain.INT
- 输出
反量化后的 Tensor,使用请求的 dtype 或 fp32