torch_tensorrt.ts.ptq

这些组件是旧版量化实用程序，旨在与 TorchScript 前端一起使用。它们已被 TensorRT 模型优化器 工具包取代，该工具包可与 dynamo 前端一起使用

类

class torch_tensorrt.ts.ptq.DataLoaderCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中构建校准器类，并使用 pytorch dataloader 加载/预处理在校准期间传递的数据。

参数

• dataloader (torch.utils.data.DataLoader) – pytorch dataloader 的实例，它迭代给定的数据集。

• algo_type (CalibrationAlgo) – 校准算法的选择。

• cache_file (str) – 缓存文件的路径。

• use_cache (bool) – 启用使用预先存在的缓存的标志。

• device (Device) – 校准数据复制到的设备。

class torch_tensorrt.ts.ptq.CacheCalibrator(*args: Any, **kwargs: Any)

在 TensorRT 中构建校准器类，该类直接使用预先存在的缓存文件进行校准。

参数

• cache_file (str) – 缓存文件的路径。

• algo_type (CalibrationAlgo) – 校准算法的选择。

枚举

class torch_tensorrt.ts.ptq.CalibrationAlgo(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

ENTROPY_CALIBRATION = <CalibrationAlgo.ENTROPY_CALIBRATION: 1>

ENTROPY_CALIBRATION_2 = <CalibrationAlgo.ENTROPY_CALIBRATION_2: 2>

LEGACY_CALIBRATION = <CalibrationAlgo.LEGACY_CALIBRATION: 0>

MINMAX_CALIBRATION = <CalibrationAlgo.MINMAX_CALIBRATION: 3>