torch_tensorrt.ts.ptq

这些组件是设计用于 TorchScript 前端的遗留量化工具。它们已被 TensorRT Model Optimizer 工具包取代，该工具包可与 dynamo 前端一起使用

类

class torch_tensorrt.ts.ptq.DataLoaderCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中构造一个校准器类，并使用 pytorch dataloader 加载/预处理在校准期间传递的数据。

参数

• dataloader (torch.utils.data.DataLoader) – pytorch dataloader 的一个实例，用于遍历给定数据集。

• algo_type (CalibrationAlgo) – 校准算法的选择。

• cache_file (str) – 缓存文件路径。

• use_cache (bool) – 启用使用预存在缓存的标志。

• device (Device) – 校准数据复制到的设备。

class torch_tensorrt.ts.ptq.CacheCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中构造一个校准器类，该类直接使用预存在缓存文件进行校准。

参数

• cache_file (str) – 缓存文件路径。

• algo_type (CalibrationAlgo) – 校准算法的选择。

枚举

class torch_tensorrt.ts.ptq.CalibrationAlgo(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

ENTROPY_CALIBRATION = <CalibrationAlgo.ENTROPY_CALIBRATION: 1>

ENTROPY_CALIBRATION_2 = <CalibrationAlgo.ENTROPY_CALIBRATION_2: 2>

LEGACY_CALIBRATION = <CalibrationAlgo.LEGACY_CALIBRATION: 0>

MINMAX_CALIBRATION = <CalibrationAlgo.MINMAX_CALIBRATION: 3>