后端配置¶
- class torch.ao.quantization.backend_config.BackendConfig(name='')[source]¶
定义可以在给定后端上量化的模式集以及如何从这些模式生成参考量化模型的配置。
在此上下文中,模式指的是模块,函数,运算符或上述内容的无环图。通过
BackendPatternConfig
可以针对目标后端上支持的每个模式进行单独配置,配置内容包括:支持的输入/输出激活,权重和偏差数据类型
如何插入观察器和量化/反量化操作以构建参考模式,以及
(可选)融合,量化感知训练和参考模块映射。
模式的格式在以下文档中进行了描述:https://github.com/pytorch/pytorch/blob/master/torch/ao/quantization/backend_config/README.md
示例用法
import torch from torch.ao.quantization.backend_config import ( BackendConfig, BackendPatternConfig, DTypeConfig, ObservationType, ) weighted_int8_dtype_config = DTypeConfig( input_dtype=torch.quint8, output_dtype=torch.quint8, weight_dtype=torch.qint8, bias_dtype=torch.float) def fuse_conv2d_relu(is_qat, conv, relu): return torch.ao.nn.intrinsic.ConvReLU2d(conv, relu) # For quantizing Linear linear_config = BackendPatternConfig(torch.nn.Linear) .set_observation_type(ObservationType.OUTPUT_USE_DIFFERENT_OBSERVER_AS_INPUT) .add_dtype_config(weighted_int8_dtype_config) .set_root_module(torch.nn.Linear) .set_qat_module(torch.ao.nn.qat.Linear) .set_reference_quantized_module(torch.ao.nn.quantized.reference.Linear) # For fusing Conv2d + ReLU into ConvReLU2d conv_relu_config = BackendPatternConfig((torch.nn.Conv2d, torch.nn.ReLU)) .set_observation_type(ObservationType.OUTPUT_USE_DIFFERENT_OBSERVER_AS_INPUT) .add_dtype_config(weighted_int8_dtype_config) .set_fused_module(torch.ao.nn.intrinsic.ConvReLU2d) .set_fuser_method(fuse_conv2d_relu) # For quantizing ConvReLU2d fused_conv_relu_config = BackendPatternConfig(torch.ao.nn.intrinsic.ConvReLU2d) .set_observation_type(ObservationType.OUTPUT_USE_DIFFERENT_OBSERVER_AS_INPUT) .add_dtype_config(weighted_int8_dtype_config) .set_root_module(torch.nn.Conv2d) .set_qat_module(torch.ao.nn.intrinsic.qat.ConvReLU2d) .set_reference_quantized_module(torch.ao.nn.quantized.reference.Conv2d) backend_config = BackendConfig("my_backend") .set_backend_pattern_config(linear_config) .set_backend_pattern_config(conv_relu_config) .set_backend_pattern_config(fused_conv_relu_config)
- property configs: List[BackendPatternConfig]¶
返回在此 BackendConfig 中设置的配置列表的副本。
- classmethod from_dict(backend_config_dict)[source]¶
从包含以下项目的字典创建一个
BackendConfig
“name”:目标后端的名称
“configs”:一个字典列表,每个字典都代表一个 BackendPatternConfig
- 返回类型