快捷方式

后端配置

class torch.ao.quantization.backend_config.BackendConfig(name='')[source]

定义可以在给定后端上量化的模式集以及如何从这些模式生成参考量化模型的配置。

在此上下文中,模式指的是模块,函数,运算符或上述内容的无环图。通过 BackendPatternConfig 可以针对目标后端上支持的每个模式进行单独配置,配置内容包括:

  1. 支持的输入/输出激活,权重和偏差数据类型

  2. 如何插入观察器和量化/反量化操作以构建参考模式,以及

  3. (可选)融合,量化感知训练和参考模块映射。

模式的格式在以下文档中进行了描述:https://github.com/pytorch/pytorch/blob/master/torch/ao/quantization/backend_config/README.md

示例用法

import torch
from torch.ao.quantization.backend_config import (
    BackendConfig,
    BackendPatternConfig,
    DTypeConfig,
    ObservationType,
)

weighted_int8_dtype_config = DTypeConfig(
    input_dtype=torch.quint8,
    output_dtype=torch.quint8,
    weight_dtype=torch.qint8,
    bias_dtype=torch.float)

def fuse_conv2d_relu(is_qat, conv, relu):
    return torch.ao.nn.intrinsic.ConvReLU2d(conv, relu)

# For quantizing Linear
linear_config = BackendPatternConfig(torch.nn.Linear)             .set_observation_type(ObservationType.OUTPUT_USE_DIFFERENT_OBSERVER_AS_INPUT)             .add_dtype_config(weighted_int8_dtype_config)             .set_root_module(torch.nn.Linear)             .set_qat_module(torch.ao.nn.qat.Linear)             .set_reference_quantized_module(torch.ao.nn.quantized.reference.Linear)

# For fusing Conv2d + ReLU into ConvReLU2d
conv_relu_config = BackendPatternConfig((torch.nn.Conv2d, torch.nn.ReLU))             .set_observation_type(ObservationType.OUTPUT_USE_DIFFERENT_OBSERVER_AS_INPUT)             .add_dtype_config(weighted_int8_dtype_config)             .set_fused_module(torch.ao.nn.intrinsic.ConvReLU2d)             .set_fuser_method(fuse_conv2d_relu)

# For quantizing ConvReLU2d
fused_conv_relu_config = BackendPatternConfig(torch.ao.nn.intrinsic.ConvReLU2d)             .set_observation_type(ObservationType.OUTPUT_USE_DIFFERENT_OBSERVER_AS_INPUT)             .add_dtype_config(weighted_int8_dtype_config)             .set_root_module(torch.nn.Conv2d)             .set_qat_module(torch.ao.nn.intrinsic.qat.ConvReLU2d)             .set_reference_quantized_module(torch.ao.nn.quantized.reference.Conv2d)

backend_config = BackendConfig("my_backend")             .set_backend_pattern_config(linear_config)             .set_backend_pattern_config(conv_relu_config)             .set_backend_pattern_config(fused_conv_relu_config)
property configs: List[BackendPatternConfig]

返回在此 BackendConfig 中设置的配置列表的副本。

classmethod from_dict(backend_config_dict)[source]

从包含以下项目的字典创建一个 BackendConfig

“name”:目标后端的名称

“configs”:一个字典列表,每个字典都代表一个 BackendPatternConfig

返回类型

后端配置

set_backend_pattern_config(config)[source]

设置可以在目标后端上运行的模式的配置。这将覆盖对给定模式的任何现有配置。

返回类型

后端配置

set_backend_pattern_configs(configs)[source]

设置可以在目标后端上运行的模式的配置。如果以前已经注册了某个模式,这将覆盖对该模式的任何现有配置。

返回类型

后端配置

set_name(name)[source]

设置目标后端的名称。

返回类型

后端配置

to_dict()[source]

将此 BackendConfig 转换为一个字典,其中包含在 from_dict() 中描述的项目。

返回类型

Dict[str, Any]

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源