快捷方式

torch.ao.ns._numeric_suite

警告

此模块处于早期原型阶段,可能会发生变化。

torch.ao.ns._numeric_suite.compare_weights(float_dict, quantized_dict)[source]

比较浮点模块与其相应的量化模块的权重。返回一个字典,其中键对应于模块名称,每个条目都是一个包含两个键“float”和“quantized”的字典,分别包含浮点权重和量化权重。此字典可用于比较和计算浮点模型和量化模型权重的量化误差。

示例用法

wt_compare_dict = compare_weights(
    float_model.state_dict(), qmodel.state_dict())
for key in wt_compare_dict:
    print(
        key,
        compute_error(
            wt_compare_dict[key]['float'],
            wt_compare_dict[key]['quantized'].dequantize()
        )
    )
参数
  • float_dict (Dict[str, Any]) – 浮点模型的状态字典

  • quantized_dict (Dict[str, Any]) – 量化模型的状态字典

返回值

字典,其中键对应于模块名称,每个条目都是一个包含两个键“float”和“quantized”的字典,分别包含浮点权重和量化权重

返回类型

weight_dict

torch.ao.ns._numeric_suite.get_logger_dict(mod, prefix='')[source]

遍历模块并将所有日志记录器统计信息保存到目标字典中。这主要用于量化精度调试。

支持的日志记录器类型

ShadowLogger:用于记录量化模块及其匹配的浮点影子模块的输出,OutputLogger:用于记录模块的输出

参数
  • mod (Module) – 我们想要保存所有日志记录器统计信息的模块

  • prefix (str) – 当前模块的前缀

返回值

用于保存所有日志记录器统计信息的字典

返回类型

target_dict

class torch.ao.ns._numeric_suite.Logger[source]

用于统计信息记录的基类

forward(x)[source]
class torch.ao.ns._numeric_suite.ShadowLogger[source]

用于 Shadow 模块以记录原始模块和影子模块输出的类。

forward(x, y)[source]
class torch.ao.ns._numeric_suite.OutputLogger[source]

用于记录模块输出的类

forward(x)[source]
class torch.ao.ns._numeric_suite.Shadow(q_module, float_module, logger_cls)[source]

Shadow 模块将浮点模块附加到与其匹配的量化模块作为阴影。然后它使用 Logger 模块来处理两个模块的输出。

参数
  • q_module – 从 float_module 量化的模块,我们希望对其进行阴影化

  • float_module – 用于对 q_module 进行阴影化的浮点模块

  • logger_cls – 用于处理 q_module 和 float_module 输出的记录器类型。可以使用 ShadowLogger 或自定义记录器。

forward(*x)[source]
返回类型

张量

add(x, y)[source]
返回类型

张量

add_scalar(x, y)[source]
返回类型

张量

mul(x, y)[source]
返回类型

张量

mul_scalar(x, y)[source]
返回类型

张量

cat(x, dim=0)[source]
返回类型

张量

add_relu(x, y)[source]
返回类型

张量

torch.ao.ns._numeric_suite.prepare_model_with_stubs(float_module, q_module, module_swap_list, logger_cls)[source]

如果浮点模块类型在 module_swap_list 中,则通过将浮点模块附加到其匹配的量化模块作为阴影来准备模型。

示例用法

prepare_model_with_stubs(float_model, q_model, module_swap_list, Logger)
q_model(data)
ob_dict = get_logger_dict(q_model)
参数
  • float_module (Module) – 用于生成 q_module 的浮点模块

  • q_module (Module) – 从 float_module 量化的模块

  • module_swap_list (Set[type]) – 要附加阴影的浮点模块类型列表

  • logger_cls (Callable) – 用于阴影模块的记录器类型,以处理量化模块及其浮点阴影模块的输出

torch.ao.ns._numeric_suite.compare_model_stub(float_model, q_model, module_swap_list, *data, logger_cls=<class 'torch.ao.ns._numeric_suite.ShadowLogger'>)[source]

比较模型中量化模块与其浮点对应模块,向两者提供相同的输入。返回一个字典,其中键对应于模块名称,每个条目都是一个字典,其中有两个键 'float' 和 'quantized',包含量化及其匹配的浮点阴影模块的输出张量。该字典可用于比较和计算模块级别的量化误差。

此函数首先调用 prepare_model_with_stubs() 来交换我们要比较的量化模块和 Shadow 模块,该模块将量化模块、相应的浮点模块和记录器作为输入,并在内部创建一个前向路径,使浮点模块对量化模块进行阴影处理,共享相同的输入。记录器可以自定义,默认记录器是 ShadowLogger,它将保存量化模块和浮点模块的输出,这些输出可用于计算模块级别的量化误差。

示例用法

module_swap_list = [torchvision.models.quantization.resnet.QuantizableBasicBlock]
ob_dict = compare_model_stub(float_model,qmodel,module_swap_list, data)
for key in ob_dict:
    print(key, compute_error(ob_dict[key]['float'], ob_dict[key]['quantized'].dequantize()))
参数
  • float_model (Module) – 用于生成 q_model 的浮点模型

  • q_model (Module) – 从 float_model 量化的模型

  • module_swap_list (Set[type]) – 将附加阴影模块的浮点模块类型列表。

  • data – 用于运行准备好的 q_model 的输入数据

  • logger_cls – 用于阴影模块的记录器类型,以处理量化模块及其浮点阴影模块的输出

返回类型

Dict[str, Dict]

torch.ao.ns._numeric_suite.get_matching_activations(float_module, q_module)[source]

查找浮点模块和量化模块之间的匹配激活。

参数
  • float_module (Module) – 用于生成 q_module 的浮点模块

  • q_module (Module) – 从 float_module 量化的模块

返回值

一个字典,其中键对应于量化模块名称,每个条目都是一个字典,其中有两个键 'float' 和 'quantized',包含匹配的浮点激活和量化激活

返回类型

act_dict

torch.ao.ns._numeric_suite.prepare_model_outputs(float_module, q_module, logger_cls=<class 'torch.ao.ns._numeric_suite.OutputLogger'>, allow_list=None)[source]

如果浮点模块和量化模块在 allow_list 中,则通过将记录器附加到两者来准备模型。

参数
  • float_module (Module) – 用于生成 q_module 的浮点模块

  • q_module (Module) – 从 float_module 量化的模块

  • logger_cls – 要附加到 float_module 和 q_module 的记录器类型

  • allow_list – 要附加记录器的模块类型列表

torch.ao.ns._numeric_suite.compare_model_outputs(float_model, q_model, *data, logger_cls=<class 'torch.ao.ns._numeric_suite.OutputLogger'>, allow_list=None)[source]

比较浮点模型和量化模型在对应位置的输出激活,以获得相同的输入。返回一个字典,其中键对应于量化模块名称,每个条目都是一个字典,其中有两个键 'float' 和 'quantized',包含量化模型和浮点模型在匹配位置的激活。该字典可用于比较和计算传播量化误差。

示例用法

act_compare_dict = compare_model_outputs(float_model, qmodel, data)
for key in act_compare_dict:
    print(
        key,
        compute_error(
            act_compare_dict[key]['float'],
            act_compare_dict[key]['quantized'].dequantize()
        )
    )
参数
  • float_model (Module) – 用于生成 q_model 的浮点模型

  • q_model (Module) – 从 float_model 量化的模型

  • data – 用于运行准备好的 float_model 和 q_model 的输入数据

  • logger_cls – 要附加到 float_module 和 q_module 的记录器类型

  • allow_list – 要附加记录器的模块类型列表

返回值

一个字典,其中键对应于量化模块名称,每个条目都是一个字典,其中有两个键 'float' 和 'quantized',包含匹配的浮点激活和量化激活

返回类型

act_compare_dict

文档

访问 PyTorch 的全面的开发者文档

查看文档

教程

获取针对初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源