DTypeConfig¶
- class torch.ao.quantization.backend_config.DTypeConfig(input_dtype=None, output_dtype=None, weight_dtype=None, bias_dtype=None, is_dynamic=None)[source]¶
配置对象,指定作为参考模型规范中量化操作参数的支持数据类型,用于输入和输出激活、权重和偏差。
例如,考虑以下参考模型
quant1 - [dequant1 - fp32_linear - quant2] - dequant2
方括号中的模式指的是静态量化线性运算的参考模式。在 DTypeConfig 中将输入数据类型设置为 torch.quint8 表示我们将 torch.quint8 作为数据类型参数传递给第一个量化操作 (quant1)。类似地,将输出数据类型设置为 torch.quint8 表示我们将 torch.quint8 作为数据类型参数传递给第二个量化操作 (quant2)。
请注意,此处的 dtype 不指的是操作的接口 dtype。例如,此处的“输入 dtype”不是传递给量化线性操作的输入张量的 dtype。尽管它仍然可以与接口 dtype 相同,但这并非总是如此,例如,在动态量化中,接口 dtype 为 fp32,但 DTypeConfig 中指定的“输入 dtype”仍然为 quint8。此处的 dtype 语义与观察器中指定的 dtype 的语义相同。
这些 dtype 与用户 QConfig 中指定的 dtype 进行匹配。如果存在匹配项,并且 QConfig 满足 DTypeConfig 中指定的约束条件(如果有),那么我们将使用此 DTypeConfig 对给定的模式进行量化。否则,将忽略 QConfig,并且不会对模式进行量化。
示例用法
>>> dtype_config1 = DTypeConfig( ... input_dtype=torch.quint8, ... output_dtype=torch.quint8, ... weight_dtype=torch.qint8, ... bias_dtype=torch.float) >>> dtype_config2 = DTypeConfig( ... input_dtype=DTypeWithConstraints( ... dtype=torch.quint8, ... quant_min_lower_bound=0, ... quant_max_upper_bound=255, ... ), ... output_dtype=DTypeWithConstraints( ... dtype=torch.quint8, ... quant_min_lower_bound=0, ... quant_max_upper_bound=255, ... ), ... weight_dtype=DTypeWithConstraints( ... dtype=torch.qint8, ... quant_min_lower_bound=-128, ... quant_max_upper_bound=127, ... ), ... bias_dtype=torch.float) >>> dtype_config1.input_dtype torch.quint8 >>> dtype_config2.input_dtype torch.quint8 >>> dtype_config2.input_dtype_with_constraints DTypeWithConstraints(dtype=torch.quint8, quant_min_lower_bound=0, quant_max_upper_bound=255, scale_min_lower_bound=None, scale_max_upper_bound=None)