HistogramObserver

class torch.ao.quantization.observer.HistogramObserver(bins=2048, dtype=torch.quint8, qscheme=torch.per_tensor_affine, reduce_range=False, quant_min=None, quant_max=None, factory_kwargs=None, eps=1.1920928955078125e-07, is_dynamic=False, **kwargs)

该模块记录张量值的运行直方图以及最小值/最大值。calculate_qparams 将计算比例因子和零点。

参数

• bins (int) – 用于直方图的 bin 的数量

• dtype (dtype) – 实现参考模型规范所需的 quantize 节点的 dtype 参数

• qscheme – 要使用的量化方案

• reduce_range – 将量化数据类型的范围减少 1 位

• eps (Tensor) – float32 的 Epsilon 值，默认为 torch.finfo(torch.float32).eps。

比例因子和零点计算如下

1. 创建传入输入的直方图。

   直方图是连续计算的，每个 bin 的范围随每次观察到的新张量而变化。

2. 在直方图中搜索分布，以获得最佳的最小值/最大值。

   搜索最小值/最大值可确保相对于浮点模型最大限度地减少量化误差。

3. 以与以下项相同的方式计算比例因子和零点

   MinMaxObserver