torch_tensorrt.ts.ptq

这些组件是用于与 TorchScript 前端一起工作的传统量化实用程序。它们已被 TensorRT 模型优化器 工具包取代，该工具包可与 dynamo 前端一起使用

类

class torch_tensorrt.ts.ptq.DataLoaderCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中构建校准器类，并使用 pytorch 数据加载器加载/预处理数据，这些数据在校准期间传递。

参数

• dataloader (torch.utils.data.DataLoader) – PyTorch 数据加载器的实例，它迭代给定数据集。

• algo_type (CalibrationAlgo) – 校准算法的选择。

• cache_file (str) – 缓存文件的路径。

• use_cache (bool) – 启用使用现有缓存的标志。

• device (Device) – 将校准数据复制到的设备。

class torch_tensorrt.ts.ptq.CacheCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中构建校准器类，该类直接使用现有的缓存文件进行校准。

参数

• cache_file (str) – 缓存文件的路径。

• algo_type (CalibrationAlgo) – 校准算法的选择。

枚举

class torch_tensorrt.ts.ptq.CalibrationAlgo(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

ENTROPY_CALIBRATION = <CalibrationAlgo.ENTROPY_CALIBRATION: 1>

ENTROPY_CALIBRATION_2 = <CalibrationAlgo.ENTROPY_CALIBRATION_2: 2>

LEGACY_CALIBRATION = <CalibrationAlgo.LEGACY_CALIBRATION: 0>

MINMAX_CALIBRATION = <CalibrationAlgo.MINMAX_CALIBRATION: 3>