PerToken

class torch.ao.quantization.observer.PerToken

表示量化中的逐 token 粒度。

此粒度类型为每个 token 计算一组不同的量化参数，token 在张量中由最后一维表示。

例如，如果输入张量的形状为 [2, 3, 4]，则有 6 个 token，每个 token 包含 4 个元素，我们将为每个 token 计算 6 组量化参数。

如果输入张量只有两维，例如 [8, 16]，则这等价于 PerAxis(axis=0)，它会产生 8 组量化参数。