量化 API 参考¶
torch.ao.quantization¶
此模块包含急切模式量化 API。
顶级 API¶
使用训练后静态量化对输入浮点模型进行量化。 |
|
将浮点模型转换为动态(即 |
|
执行量化感知训练并输出量化模型 |
|
为量化校准或量化感知训练准备模型的副本。 |
|
为量化校准或量化感知训练准备模型的副本,并将其转换为量化版本。 |
|
根据映射将输入模块中的子模块转换为不同的模块,方法是调用目标模块类上的from_float方法。 |
准备量化模型¶
将模块列表融合成单个模块。 |
|
量化存根模块,在校准之前,这与观察器相同,它将在转换中被交换为nnq.Quantize。 |
|
反量化存根模块,在校准之前,这与恒等式相同,它将在转换中被交换为nnq.DeQuantize。 |
|
一个包装类,包装输入模块,添加 QuantStub 和 DeQuantStub,并将对模块的调用包围在对量化和反量化模块的调用中。 |
|
如果叶子子模块具有有效的 qconfig,则将其包装在 QuantWrapper 中。请注意,此函数将就地修改模块的子项,并且它还可以返回一个新的模块,该模块也包装了输入模块。 |
实用程序函数¶
如果模块具有量化对应项并且附加了观察器,则交换该模块。 |
|
在模块层次结构中传播 qconfig,并在每个叶子模块上分配qconfig属性 |
|
定义默认评估函数。 |
torch.ao.quantization.quantize_fx¶
此模块包含 FX 图模式量化 API(原型)。
准备模型进行训练后量化 |
|
准备模型进行量化感知训练 |
|
将校准或训练后的模型转换为量化模型 |
|
融合 conv+bn、conv+bn+relu 等模块,模型必须处于评估模式。 |
torch.ao.quantization.qconfig_mapping¶
此模块包含用于配置 FX 图模式量化的 QConfigMapping。
从模型操作到 |
|
返回训练后量化的默认 QConfigMapping。 |
|
返回量化感知训练的默认 QConfigMapping。 |
torch.ao.quantization.backend_config¶
此模块包含 BackendConfig,这是一个配置对象,用于定义后端如何支持量化。目前仅用于 FX 图模式量化,但我们也可能会扩展急切模式量化以使其也与之配合使用。
配置,用于定义可以在给定后端上量化的模式集,以及如何从这些模式生成参考量化模型。 |
|
配置对象,指定给定运算符模式的量化行为。 |
|
配置对象,指定作为参数传递给参考模型规范中量化运算的支持数据类型,用于输入和输出激活、权重和偏差。 |
|
用于指定给定 dtype 的其他约束的配置,例如量化值范围、比例值范围和固定量化参数,将在 |
|
一个枚举,表示观察运算符/运算符模式的不同方式 |
torch.ao.quantization.fx.custom_config¶
此模块包含一些在急切模式和 FX 图模式量化中使用的 CustomConfig 类
用于 |
|
针对 |
|
针对 |
|
torch.ao.quantization.quantizer¶
torch.ao.quantization.pt2e(PyTorch 2.0 导出实现中的量化)¶
torch.ao.quantization.pt2e.export_utils¶
如果 torch.nn.Module 已导出,则返回 True,否则返回 False(例如 |
PT2 导出 (pt2e) 数值调试器¶
为模型中的所有节点(除占位符节点外)附加 numeric_debug_handle_id。输入模型的图节点将被就地修改。 |
|
str(object='') -> str str(bytes_or_buffer[, encoding[, errors]]) -> str |
|
str(object='') -> str str(bytes_or_buffer[, encoding[, errors]]) -> str |
|
为具有 numeric_debug_handle 的节点添加输出日志记录器。 |
|
对于给定模型,提取每个调试句柄的张量统计信息和相关信息。 |
|
给定两个字典,分别从 debug_handle_id(int)映射到张量列表,返回一个从 debug_handle_id 映射到 NodeAccuracySummary 的映射,其中包含比较信息,如 SQNR、MSE 等。 |
torch.ao.quantization.observer¶
此模块包含观察器,用于收集校准(PTQ)或训练(QAT)期间观察到的值的统计信息。
基础观察器模块。 |
|
用于根据运行时最小值和最大值计算量化参数的观察器模块。 |
|
用于根据最小值和最大值的移动平均值计算量化参数的观察器模块。 |
|
用于根据运行时按通道最小值和最大值计算量化参数的观察器模块。 |
|
用于根据运行时按通道最小值和最大值计算量化参数的观察器模块。 |
|
该模块记录张量值的运行时直方图以及最小/最大值。 |
|
不执行任何操作并将其配置传递给量化模块的 |
|
该模块主要用于调试,并在运行时记录张量值。 |
|
不执行任何操作并将其配置传递给量化模块的 |
|
返回与观察器统计信息相对应的状态字典。 |
|
给定输入模型和一个包含模型观察器统计信息的状态字典,将统计信息加载回模型中。 |
|
静态量化的默认观察器,通常用于调试。 |
|
默认占位符观察器,通常用于量化到 torch.float16。 |
|
默认仅调试观察器。 |
|
默认权重观察器。 |
|
默认直方图观察器,通常用于 PTQ。 |
|
默认按通道权重观察器,通常用于支持按通道权重量化的后端,例如 fbgemm。 |
|
动态量化的默认观察器。 |
|
浮点零点的默认观察器。 |
torch.ao.quantization.fake_quantize¶
此模块实现了用于在 QAT 期间执行伪量化的模块。
基础伪量化模块。 |
|
模拟训练时的量化和反量化操作。 |
|
模拟训练时的量化和反量化。 |
|
定义一个融合模块来观察张量。 |
|
激活函数的默认伪量化。 |
|
权重的默认伪量化。 |
|
按通道权重的默认伪量化。 |
|
使用直方图的激活函数的伪量化。 |
|
default_fake_quant 的融合版本,性能有所提升。 |
|
default_weight_fake_quant 的融合版本,性能有所提升。 |
|
default_per_channel_weight_fake_quant 的融合版本,性能有所提升。 |
|
禁用模块的伪量化。 |
|
启用模块的伪量化。 |
|
禁用此模块的观察。 |
|
启用此模块的观察。 |
torch.ao.quantization.qconfig¶
此模块定义了 QConfig 对象,用于配置各个操作的量化设置。
通过分别为激活函数和权重提供设置(观察器类)来描述如何量化层或网络的一部分。 |
|
默认 qconfig 配置。 |
|
调试的默认 qconfig 配置。 |
|
按通道权重量化的默认 qconfig 配置。 |
|
默认动态 qconfig。 |
|
权重量化为 torch.float16 的动态 qconfig。 |
|
激活函数和权重都量化为 torch.float16 的动态 qconfig。 |
|
按通道量化权重的动态 qconfig。 |
|
使用浮点零点量化权重的动态 qconfig。 |
|
QAT 的默认 qconfig。 |
|
仅量化权重的默认 qconfig。 |
|
仅量化激活函数的默认 qconfig。 |
|
default_qat_config 的融合版本,具有性能优势。 |
torch.ao.nn.intrinsic¶
此模块实现了组合(融合)模块 conv + relu,然后可以对其进行量化。
这是一个顺序容器,它调用 Conv1d 和 ReLU 模块。 |
|
这是一个顺序容器,它调用 Conv2d 和 ReLU 模块。 |
|
这是一个顺序容器,它调用 Conv3d 和 ReLU 模块。 |
|
这是一个顺序容器,它调用 Linear 和 ReLU 模块。 |
|
这是一个顺序容器,它调用 Conv 1d 和 Batch Norm 1d 模块。 |
|
这是一个顺序容器,它调用 Conv 2d 和 Batch Norm 2d 模块。 |
|
这是一个顺序容器,它调用 Conv 3d 和 Batch Norm 3d 模块。 |
|
这是一个顺序容器,它调用 Conv 1d、Batch Norm 1d 和 ReLU 模块。 |
|
这是一个顺序容器,它调用 Conv 2d、Batch Norm 2d 和 ReLU 模块。 |
|
这是一个顺序容器,它调用 Conv 3d、Batch Norm 3d 和 ReLU 模块。 |
|
这是一个顺序容器,它调用 BatchNorm 2d 和 ReLU 模块。 |
|
这是一个顺序容器,它调用 BatchNorm 3d 和 ReLU 模块。 |
torch.ao.nn.intrinsic.qat¶
此模块实现了量化感知训练所需的这些融合操作的版本。
一个由 Linear 和 ReLU 模块融合而成的 LinearReLU 模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
ConvBn1d 模块是由 Conv1d 和 BatchNorm1d 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
ConvBnReLU1d 模块是由 Conv1d、BatchNorm1d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
ConvBn2d 模块是由 Conv2d 和 BatchNorm2d 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
ConvBnReLU2d 模块是由 Conv2d、BatchNorm2d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
ConvReLU2d 模块是由 Conv2d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
ConvBn3d 模块是由 Conv3d 和 BatchNorm3d 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
ConvBnReLU3d 模块是由 Conv3d、BatchNorm3d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
ConvReLU3d 模块是由 Conv3d 和 ReLU 融合而成的模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
torch.ao.nn.intrinsic.quantized¶
此模块实现了融合操作(如 conv + relu)的量化实现。没有 BatchNorm 变体,因为它通常在推理时折叠到卷积中。
BNReLU2d 模块是由 BatchNorm2d 和 ReLU 融合而成的模块。 |
|
BNReLU3d 模块是由 BatchNorm3d 和 ReLU 融合而成的模块。 |
|
ConvReLU1d 模块是由 Conv1d 和 ReLU 融合而成的模块。 |
|
ConvReLU2d 模块是由 Conv2d 和 ReLU 融合而成的模块。 |
|
ConvReLU3d 模块是由 Conv3d 和 ReLU 融合而成的模块。 |
|
一个由 Linear 和 ReLU 模块融合而成的 LinearReLU 模块。 |
torch.ao.nn.intrinsic.quantized.dynamic¶
此模块实现了融合操作(如 linear + relu)的量化动态实现。
一个由 Linear 和 ReLU 模块融合而成的 LinearReLU 模块,可用于动态量化。 |
torch.ao.nn.qat¶
此模块实现了关键 nn 模块 **Conv2d()** 和 **Linear()** 的版本,这些版本在 FP32 中运行,但应用了舍入以模拟 INT8 量化的效果。
一个 Conv2d 模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
一个 Conv3d 模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
|
一个线性模块,附加了用于权重的 FakeQuantize 模块,用于量化感知训练。 |
torch.ao.nn.qat.dynamic¶
此模块实现了关键 nn 模块(如 **Linear()**)的版本,这些版本在 FP32 中运行,但应用了舍入以模拟 INT8 量化的效果,并在推理期间动态量化。
一个线性模块,附加了用于权重的 FakeQuantize 模块,用于动态量化感知训练。 |
torch.ao.nn.quantized¶
此模块实现了 nn 层的量化版本,例如 ~`torch.nn.Conv2d` 和 torch.nn.ReLU。
应用逐元素函数 |
|
这是 |
|
这是 |
|
这是 |
|
这是 |
|
这是 |
|
这是 |
|
对由多个量化输入平面组成的量化输入信号应用 1D 卷积。 |
|
对由多个量化输入平面组成的量化输入信号应用 2D 卷积。 |
|
对由多个量化输入平面组成的量化输入信号应用 3D 卷积。 |
|
对由多个输入平面组成的输入图像应用 1D 转置卷积运算符。 |
|
对由多个输入平面组成的输入图像应用 2D 转置卷积运算符。 |
|
对由多个输入平面组成的输入图像应用 3D 转置卷积运算符。 |
|
一个量化 Embedding 模块,以量化打包权重作为输入。 |
|
一个量化 EmbeddingBag 模块,以量化打包权重作为输入。 |
|
浮点运算的状态收集器类。 |
|
在 FX 图模式量化之前替换 FloatFunctional 模块的模块,因为 activation_post_process 将直接插入到顶级模块中。 |
|
量化操作的包装器类。 |
|
一个量化线性模块,以量化张量作为输入和输出。 |
|
这是 |
|
这是 |
|
这是 |
|
这是 |
|
这是 |
torch.ao.nn.quantized.functional¶
函数式接口(量化)。
此模块实现了函数式层的量化版本,例如 ~`torch.nn.functional.conv2d` 和 torch.nn.functional.relu。注意:relu()
支持量化输入。
在 区域中应用 2D 平均池化操作,步长为 步。 |
|
在 区域中应用 3D 平均池化操作,步长为 步。 |
|
对由多个量化输入平面组成的量化输入信号应用 2D 自适应平均池化。 |
|
对由多个量化输入平面组成的量化输入信号应用 3D 自适应平均池化。 |
|
对由多个输入平面组成的量化一维输入应用一维卷积。 |
|
对由多个输入平面组成的量化二维输入应用二维卷积。 |
|
对由多个输入平面组成的量化三维输入应用三维卷积。 |
|
将输入下采样或上采样到给定的 |
|
对传入的量化数据应用线性变换:. |
|
对由多个量化输入平面组成的量化输入信号应用一维最大池化。 |
|
对由多个量化输入平面组成的量化输入信号应用二维最大池化。 |
|
逐元素应用量化CELU函数。 |
|
量化版本。 |
|
这是 |
|
这是 |
|
逐元素应用阈值函数的量化版本。 |
|
这是 |
|
这是 |
|
float(input, min_, max_) -> Tensor |
|
将输入上采样到给定的 |
|
使用双线性上采样对输入进行上采样。 |
|
使用最近邻像素值对输入进行上采样。 |
torch.ao.nn.quantizable¶
此模块实现了某些nn层的量化版本。这些模块可以与自定义模块机制结合使用,方法是向prepare和convert都提供custom_module_config
参数。
一个可量化的长短期记忆(LSTM)。 |
|
torch.ao.nn.quantized.dynamic¶
动态量化的Linear
、LSTM
、LSTMCell
、GRUCell
和RNNCell
。
一个动态量化的线性模块,其输入和输出为浮点张量。 |
|
一个动态量化的LSTM模块,其输入和输出为浮点张量。 |
|
将多层门控循环单元(GRU)RNN应用于输入序列。 |
|
具有tanh或ReLU非线性的Elman RNN单元。 |
|
一个长短期记忆(LSTM)单元。 |
|
一个门控循环单元(GRU)单元。 |
量化数据类型和量化方案¶
请注意,运算符实现目前仅支持卷积和线性运算符权重的按通道量化。此外,输入数据将线性映射到量化数据,反之亦然,如下所示
其中与clamp()
相同,而比例尺和零点则根据MinMaxObserver
中所述计算,具体来说
其中 表示输入数据的范围,而 和 分别是量化数据类型的最小值和最大值。
请注意, 和 的选择意味着,只要零在输入数据范围内或使用对称量化,零就会以无量化误差的方式表示。
可以通过 自定义操作机制 实现其他数据类型和量化方案。
torch.qscheme
— 用于描述张量量化方案的类型。支持的类型torch.per_tensor_affine
— 每张量,非对称torch.per_channel_affine
— 每通道,非对称torch.per_tensor_symmetric
— 每张量,对称torch.per_channel_symmetric
— 每通道,对称
torch.dtype
— 用于描述数据的类型。支持的类型torch.quint8
— 8 位无符号整数torch.qint8
— 8 位有符号整数torch.qint32
— 32 位有符号整数
QAT 模块。
此包正在弃用过程中。请改用 torch.ao.nn.qat.modules。
QAT 动态模块。
此包正在弃用过程中。请改用 torch.ao.nn.qat.dynamic。
此文件正在迁移到 torch/ao/quantization,并在迁移过程中保留以保持兼容性。如果您要添加新的条目/功能,请将其添加到 torch/ao/quantization/fx/ 下的相应文件中,同时在此处添加导入语句。
QAT 动态模块。
此包正在弃用过程中。请改用 torch.ao.nn.qat.dynamic。
量化模块。
- 注意:
torch.nn.quantized 命名空间正在弃用过程中。请改用 torch.ao.nn.quantized。
量化动态模块。
此文件正在迁移到 torch/ao/nn/quantized/dynamic,并在迁移过程中保留以保持兼容性。如果您要添加新的条目/功能,请将其添加到 torch/ao/nn/quantized/dynamic 下的相应文件中,同时在此处添加导入语句。