快捷方式

量化 API 参考

torch.ao.quantization

此模块包含急切模式量化 API。

顶级 API

量化

使用训练后静态量化对输入浮点模型进行量化。

动态量化

将浮点模型转换为动态(即

量化感知训练

执行量化感知训练并输出量化模型

准备

为量化校准或量化感知训练准备模型的副本。

准备量化感知训练

为量化校准或量化感知训练准备模型的副本,并将其转换为量化版本。

转换

根据映射将输入模块中的子模块转换为不同的模块,方法是调用目标模块类上的from_float方法。

准备量化模型

fuse_modules.fuse_modules

将模块列表融合成单个模块。

QuantStub

量化存根模块,在校准之前,这与观察器相同,它将在转换中被交换为nnq.Quantize

DeQuantStub

反量化存根模块,在校准之前,这与恒等式相同,它将在转换中被交换为nnq.DeQuantize

QuantWrapper

一个包装类,包装输入模块,添加 QuantStub 和 DeQuantStub,并将对模块的调用包围在对量化和反量化模块的调用中。

add_quant_dequant

如果叶子子模块具有有效的 qconfig,则将其包装在 QuantWrapper 中。请注意,此函数将就地修改模块的子项,并且它还可以返回一个新的模块,该模块也包装了输入模块。

实用程序函数

交换模块

如果模块具有量化对应项并且附加了观察器,则交换该模块。

propagate_qconfig_

在模块层次结构中传播 qconfig,并在每个叶子模块上分配qconfig属性

default_eval_fn

定义默认评估函数。

torch.ao.quantization.quantize_fx

此模块包含 FX 图模式量化 API(原型)。

准备 FX

准备模型进行训练后量化

准备量化感知训练 FX

准备模型进行量化感知训练

转换 FX

将校准或训练后的模型转换为量化模型

融合 FX

融合 conv+bn、conv+bn+relu 等模块,模型必须处于评估模式。

torch.ao.quantization.qconfig_mapping

此模块包含用于配置 FX 图模式量化的 QConfigMapping。

QConfigMapping

从模型操作到torch.ao.quantization.QConfig的映射。

获取默认 QConfigMapping

返回训练后量化的默认 QConfigMapping。

获取默认量化感知训练 QConfigMapping

返回量化感知训练的默认 QConfigMapping。

torch.ao.quantization.backend_config

此模块包含 BackendConfig,这是一个配置对象,用于定义后端如何支持量化。目前仅用于 FX 图模式量化,但我们也可能会扩展急切模式量化以使其也与之配合使用。

BackendConfig

配置,用于定义可以在给定后端上量化的模式集,以及如何从这些模式生成参考量化模型。

BackendPatternConfig

配置对象,指定给定运算符模式的量化行为。

DTypeConfig

配置对象,指定作为参数传递给参考模型规范中量化运算的支持数据类型,用于输入和输出激活、权重和偏差。

DTypeWithConstraints

用于指定给定 dtype 的其他约束的配置,例如量化值范围、比例值范围和固定量化参数,将在DTypeConfig中使用。

ObservationType

一个枚举,表示观察运算符/运算符模式的不同方式

torch.ao.quantization.fx.custom_config

此模块包含一些在急切模式和 FX 图模式量化中使用的 CustomConfig 类

FuseCustomConfig

用于fuse_fx()的自定义配置。

PrepareCustomConfig

针对 prepare_fx()prepare_qat_fx() 的自定义配置。

ConvertCustomConfig

针对 convert_fx() 的自定义配置。

StandaloneModuleConfigEntry

torch.ao.quantization.quantizer

torch.ao.quantization.pt2e(PyTorch 2.0 导出实现中的量化)

torch.ao.quantization.pt2e.export_utils

model_is_exported

如果 torch.nn.Module 已导出,则返回 True,否则返回 False(例如

PT2 导出 (pt2e) 数值调试器

generate_numeric_debug_handle

为模型中的所有节点(除占位符节点外)附加 numeric_debug_handle_id。输入模型的图节点将被就地修改。

CUSTOM_KEY

str(object='') -> str str(bytes_or_buffer[, encoding[, errors]]) -> str

NUMERIC_DEBUG_HANDLE_KEY

str(object='') -> str str(bytes_or_buffer[, encoding[, errors]]) -> str

prepare_for_propagation_comparison

为具有 numeric_debug_handle 的节点添加输出日志记录器。

extract_results_from_loggers

对于给定模型,提取每个调试句柄的张量统计信息和相关信息。

compare_results

给定两个字典,分别从 debug_handle_id(int)映射到张量列表,返回一个从 debug_handle_id 映射到 NodeAccuracySummary 的映射,其中包含比较信息,如 SQNR、MSE 等。

torch.ao.quantization.observer

此模块包含观察器,用于收集校准(PTQ)或训练(QAT)期间观察到的值的统计信息。

ObserverBase

基础观察器模块。

MinMaxObserver

用于根据运行时最小值和最大值计算量化参数的观察器模块。

MovingAverageMinMaxObserver

用于根据最小值和最大值的移动平均值计算量化参数的观察器模块。

PerChannelMinMaxObserver

用于根据运行时按通道最小值和最大值计算量化参数的观察器模块。

MovingAveragePerChannelMinMaxObserver

用于根据运行时按通道最小值和最大值计算量化参数的观察器模块。

HistogramObserver

该模块记录张量值的运行时直方图以及最小/最大值。

PlaceholderObserver

不执行任何操作并将其配置传递给量化模块的 .from_float() 的观察器。

RecordingObserver

该模块主要用于调试,并在运行时记录张量值。

NoopObserver

不执行任何操作并将其配置传递给量化模块的 .from_float() 的观察器。

get_observer_state_dict

返回与观察器统计信息相对应的状态字典。

load_observer_state_dict

给定输入模型和一个包含模型观察器统计信息的状态字典,将统计信息加载回模型中。

default_observer

静态量化的默认观察器,通常用于调试。

default_placeholder_observer

默认占位符观察器,通常用于量化到 torch.float16。

default_debug_observer

默认仅调试观察器。

default_weight_observer

默认权重观察器。

default_histogram_observer

默认直方图观察器,通常用于 PTQ。

default_per_channel_weight_observer

默认按通道权重观察器,通常用于支持按通道权重量化的后端,例如 fbgemm

default_dynamic_quant_observer

动态量化的默认观察器。

default_float_qparams_observer

浮点零点的默认观察器。

torch.ao.quantization.fake_quantize

此模块实现了用于在 QAT 期间执行伪量化的模块。

FakeQuantizeBase

基础伪量化模块。

FakeQuantize

模拟训练时的量化和反量化操作。

FixedQParamsFakeQuantize

模拟训练时的量化和反量化。

FusedMovingAvgObsFakeQuantize

定义一个融合模块来观察张量。

default_fake_quant

激活函数的默认伪量化。

default_weight_fake_quant

权重的默认伪量化。

default_per_channel_weight_fake_quant

按通道权重的默认伪量化。

default_histogram_fake_quant

使用直方图的激活函数的伪量化。

default_fused_act_fake_quant

default_fake_quant 的融合版本,性能有所提升。

default_fused_wt_fake_quant

default_weight_fake_quant 的融合版本,性能有所提升。

default_fused_per_channel_wt_fake_quant

default_per_channel_weight_fake_quant 的融合版本,性能有所提升。

disable_fake_quant

禁用模块的伪量化。

enable_fake_quant

启用模块的伪量化。

disable_observer

禁用此模块的观察。

enable_observer

启用此模块的观察。

torch.ao.quantization.qconfig

此模块定义了 QConfig 对象,用于配置各个操作的量化设置。

QConfig

通过分别为激活函数和权重提供设置(观察器类)来描述如何量化层或网络的一部分。

default_qconfig

默认 qconfig 配置。

default_debug_qconfig

调试的默认 qconfig 配置。

default_per_channel_qconfig

按通道权重量化的默认 qconfig 配置。

default_dynamic_qconfig

默认动态 qconfig。

float16_dynamic_qconfig

权重量化为 torch.float16 的动态 qconfig。

float16_static_qconfig

激活函数和权重都量化为 torch.float16 的动态 qconfig。

per_channel_dynamic_qconfig

按通道量化权重的动态 qconfig。

float_qparams_weight_only_qconfig

使用浮点零点量化权重的动态 qconfig。

default_qat_qconfig

QAT 的默认 qconfig。

default_weight_only_qconfig

仅量化权重的默认 qconfig。

default_activation_only_qconfig

仅量化激活函数的默认 qconfig。

default_qat_qconfig_v2

default_qat_config 的融合版本,具有性能优势。

torch.ao.nn.intrinsic

此模块实现了组合(融合)模块 conv + relu,然后可以对其进行量化。

ConvReLU1d

这是一个顺序容器,它调用 Conv1d 和 ReLU 模块。

ConvReLU2d

这是一个顺序容器,它调用 Conv2d 和 ReLU 模块。

ConvReLU3d

这是一个顺序容器,它调用 Conv3d 和 ReLU 模块。

LinearReLU

这是一个顺序容器,它调用 Linear 和 ReLU 模块。

ConvBn1d

这是一个顺序容器,它调用 Conv 1d 和 Batch Norm 1d 模块。

ConvBn2d

这是一个顺序容器,它调用 Conv 2d 和 Batch Norm 2d 模块。

ConvBn3d

这是一个顺序容器,它调用 Conv 3d 和 Batch Norm 3d 模块。

ConvBnReLU1d

这是一个顺序容器,它调用 Conv 1d、Batch Norm 1d 和 ReLU 模块。

ConvBnReLU2d

这是一个顺序容器,它调用 Conv 2d、Batch Norm 2d 和 ReLU 模块。

ConvBnReLU3d

这是一个顺序容器,它调用 Conv 3d、Batch Norm 3d 和 ReLU 模块。

BNReLU2d

这是一个顺序容器,它调用 BatchNorm 2d 和 ReLU 模块。

BNReLU3d

这是一个顺序容器,它调用 BatchNorm 3d 和 ReLU 模块。

torch.ao.nn.intrinsic.qat

此模块实现了量化感知训练所需的这些融合操作的版本。

LinearReLU

一个由 Linear 和 ReLU 模块融合而成的 LinearReLU 模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

ConvBn1d

ConvBn1d 模块是由 Conv1d 和 BatchNorm1d 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

ConvBnReLU1d

ConvBnReLU1d 模块是由 Conv1d、BatchNorm1d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

ConvBn2d

ConvBn2d 模块是由 Conv2d 和 BatchNorm2d 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

ConvBnReLU2d

ConvBnReLU2d 模块是由 Conv2d、BatchNorm2d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

ConvReLU2d

ConvReLU2d 模块是由 Conv2d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

ConvBn3d

ConvBn3d 模块是由 Conv3d 和 BatchNorm3d 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

ConvBnReLU3d

ConvBnReLU3d 模块是由 Conv3d、BatchNorm3d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

ConvReLU3d

ConvReLU3d 模块是由 Conv3d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

update_bn_stats

freeze_bn_stats

torch.ao.nn.intrinsic.quantized

此模块实现了融合操作(如 conv + relu)的量化实现。没有 BatchNorm 变体,因为它通常在推理时折叠到卷积中。

BNReLU2d

BNReLU2d 模块是由 BatchNorm2d 和 ReLU 融合而成的模块。

BNReLU3d

BNReLU3d 模块是由 BatchNorm3d 和 ReLU 融合而成的模块。

ConvReLU1d

ConvReLU1d 模块是由 Conv1d 和 ReLU 融合而成的模块。

ConvReLU2d

ConvReLU2d 模块是由 Conv2d 和 ReLU 融合而成的模块。

ConvReLU3d

ConvReLU3d 模块是由 Conv3d 和 ReLU 融合而成的模块。

LinearReLU

一个由 Linear 和 ReLU 模块融合而成的 LinearReLU 模块。

torch.ao.nn.intrinsic.quantized.dynamic

此模块实现了融合操作(如 linear + relu)的量化动态实现。

LinearReLU

一个由 Linear 和 ReLU 模块融合而成的 LinearReLU 模块,可用于动态量化。

torch.ao.nn.qat

此模块实现了关键 nn 模块 **Conv2d()** 和 **Linear()** 的版本,这些版本在 FP32 中运行,但应用了舍入以模拟 INT8 量化的效果。

Conv2d

一个 Conv2d 模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

Conv3d

一个 Conv3d 模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

Linear

一个线性模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。

torch.ao.nn.qat.dynamic

此模块实现了关键 nn 模块(如 **Linear()**)的版本,这些版本在 FP32 中运行,但应用了舍入以模拟 INT8 量化的效果,并在推理期间动态量化。

Linear

一个线性模块,附加了用于权重的 FakeQuantize 模块,用于动态量化感知训练。

torch.ao.nn.quantized

此模块实现了 nn 层的量化版本,例如 ~`torch.nn.Conv2d` 和 torch.nn.ReLU

ReLU6

应用逐元素函数

Hardswish

这是 Hardswish 的量化版本。

ELU

这是 ELU 的量化等价物。

LeakyReLU

这是 LeakyReLU 的量化等价物。

Sigmoid

这是 Sigmoid 的量化等价物。

BatchNorm2d

这是 BatchNorm2d 的量化版本。

BatchNorm3d

这是 BatchNorm3d 的量化版本。

Conv1d

对由多个量化输入平面组成的量化输入信号应用 1D 卷积。

Conv2d

对由多个量化输入平面组成的量化输入信号应用 2D 卷积。

Conv3d

对由多个量化输入平面组成的量化输入信号应用 3D 卷积。

ConvTranspose1d

对由多个输入平面组成的输入图像应用 1D 转置卷积运算符。

ConvTranspose2d

对由多个输入平面组成的输入图像应用 2D 转置卷积运算符。

ConvTranspose3d

对由多个输入平面组成的输入图像应用 3D 转置卷积运算符。

Embedding

一个量化 Embedding 模块,以量化打包权重作为输入。

EmbeddingBag

一个量化 EmbeddingBag 模块,以量化打包权重作为输入。

FloatFunctional

浮点运算的状态收集器类。

FXFloatFunctional

在 FX 图模式量化之前替换 FloatFunctional 模块的模块,因为 activation_post_process 将直接插入到顶级模块中。

QFunctional

量化操作的包装器类。

Linear

一个量化线性模块,以量化张量作为输入和输出。

LayerNorm

这是 LayerNorm 的量化版本。

GroupNorm

这是 GroupNorm 的量化版本。

InstanceNorm1d

这是 InstanceNorm1d 的量化版本。

InstanceNorm2d

这是 InstanceNorm2d 的量化版本。

InstanceNorm3d

这是 InstanceNorm3d 的量化版本。

torch.ao.nn.quantized.functional

函数式接口(量化)。

此模块实现了函数式层的量化版本,例如 ~`torch.nn.functional.conv2d` 和 torch.nn.functional.relu。注意:relu() 支持量化输入。

avg_pool2d

kH×kWkH \times kW 区域中应用 2D 平均池化操作,步长为 sH×sWsH \times sW 步。

avg_pool3d

kD timeskH×kWkD \ times kH \times kW 区域中应用 3D 平均池化操作,步长为 sD×sH×sWsD \times sH \times sW 步。

adaptive_avg_pool2d

对由多个量化输入平面组成的量化输入信号应用 2D 自适应平均池化。

adaptive_avg_pool3d

对由多个量化输入平面组成的量化输入信号应用 3D 自适应平均池化。

conv1d

对由多个输入平面组成的量化一维输入应用一维卷积。

conv2d

对由多个输入平面组成的量化二维输入应用二维卷积。

conv3d

对由多个输入平面组成的量化三维输入应用三维卷积。

interpolate

将输入下采样或上采样到给定的size或给定的scale_factor

linear

对传入的量化数据应用线性变换:y=xAT+by = xA^T + b.

max_pool1d

对由多个量化输入平面组成的量化输入信号应用一维最大池化。

max_pool2d

对由多个量化输入平面组成的量化输入信号应用二维最大池化。

celu

逐元素应用量化CELU函数。

leaky_relu

量化版本。

hardtanh

这是hardtanh()的量化版本。

hardswish

这是hardswish()的量化版本。

threshold

逐元素应用阈值函数的量化版本。

elu

这是elu()的量化版本。

hardsigmoid

这是hardsigmoid()的量化版本。

clamp

float(input, min_, max_) -> Tensor

upsample

将输入上采样到给定的size或给定的scale_factor

upsample_bilinear

使用双线性上采样对输入进行上采样。

upsample_nearest

使用最近邻像素值对输入进行上采样。

torch.ao.nn.quantizable

此模块实现了某些nn层的量化版本。这些模块可以与自定义模块机制结合使用,方法是向prepare和convert都提供custom_module_config参数。

LSTM

一个可量化的长短期记忆(LSTM)。

MultiheadAttention

torch.ao.nn.quantized.dynamic

动态量化的LinearLSTMLSTMCellGRUCellRNNCell

Linear

一个动态量化的线性模块,其输入和输出为浮点张量。

LSTM

一个动态量化的LSTM模块,其输入和输出为浮点张量。

GRU

将多层门控循环单元(GRU)RNN应用于输入序列。

RNNCell

具有tanh或ReLU非线性的Elman RNN单元。

LSTMCell

一个长短期记忆(LSTM)单元。

GRUCell

一个门控循环单元(GRU)单元。

量化数据类型和量化方案

请注意,运算符实现目前仅支持卷积和线性运算符权重的按通道量化。此外,输入数据将线性映射到量化数据,反之亦然,如下所示

Quantization:Qout=clamp(xinput/s+z,Qmin,Qmax)Dequantization:xout=(Qinputz)s\begin{aligned} \text{Quantization:}&\\ &Q_\text{out} = \text{clamp}(x_\text{input}/s+z, Q_\text{min}, Q_\text{max})\\ \text{Dequantization:}&\\ &x_\text{out} = (Q_\text{input}-z)*s \end{aligned}

其中clamp(.)\text{clamp}(.)clamp()相同,而比例尺ss和零点zz则根据MinMaxObserver中所述计算,具体来说

如果对称:s=2max(xmin,xmax)/(QmaxQmin)z={0如果数据类型为qint8128否则否则:s=(xmaxxmin)/(QmaxQmin)z=Qminround(xmin/s)\begin{aligned} \text{如果对称:}&\\ &s = 2 \max(|x_\text{min}|, x_\text{max}) / \left( Q_\text{max} - Q_\text{min} \right) \\ &z = \begin{cases} 0 & \text{如果数据类型为qint8} \\ 128 & \text{否则} \end{cases}\\ \text{否则:}&\\ &s = \left( x_\text{max} - x_\text{min} \right ) / \left( Q_\text{max} - Q_\text{min} \right ) \\ &z = Q_\text{min} - \text{round}(x_\text{min} / s) \end{aligned}

其中 [xmin,xmax][x_\text{min}, x_\text{max}] 表示输入数据的范围,而 QminQ_\text{min}QmaxQ_\text{max} 分别是量化数据类型的最小值和最大值。

请注意,sszz 的选择意味着,只要零在输入数据范围内或使用对称量化,零就会以无量化误差的方式表示。

可以通过 自定义操作机制 实现其他数据类型和量化方案。

  • torch.qscheme — 用于描述张量量化方案的类型。支持的类型

    • torch.per_tensor_affine — 每张量,非对称

    • torch.per_channel_affine — 每通道,非对称

    • torch.per_tensor_symmetric — 每张量,对称

    • torch.per_channel_symmetric — 每通道,对称

  • torch.dtype — 用于描述数据的类型。支持的类型

    • torch.quint8 — 8 位无符号整数

    • torch.qint8 — 8 位有符号整数

    • torch.qint32 — 32 位有符号整数

QAT 模块。

此包正在弃用过程中。请改用 torch.ao.nn.qat.modules

QAT 动态模块。

此包正在弃用过程中。请改用 torch.ao.nn.qat.dynamic

此文件正在迁移到 torch/ao/quantization,并在迁移过程中保留以保持兼容性。如果您要添加新的条目/功能,请将其添加到 torch/ao/quantization/fx/ 下的相应文件中,同时在此处添加导入语句。

QAT 动态模块。

此包正在弃用过程中。请改用 torch.ao.nn.qat.dynamic

量化模块。

注意:

torch.nn.quantized 命名空间正在弃用过程中。请改用 torch.ao.nn.quantized

量化动态模块。

此文件正在迁移到 torch/ao/nn/quantized/dynamic,并在迁移过程中保留以保持兼容性。如果您要添加新的条目/功能,请将其添加到 torch/ao/nn/quantized/dynamic 下的相应文件中,同时在此处添加导入语句。

文档

访问 PyTorch 的全面开发人员文档

查看文档

教程

获取初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源