get_quantizer_mode¶
- torchtune.training.get_quantizer_mode(quantizer: Optional[Callable]) Optional[str] [source]¶
给定一个量化器对象,返回一个字符串,指定量化的类型。
例如,在 int4 权重仅量化的情况下,我们将返回 “4w”。如果量化器未被识别为已知量化器,我们将返回 None。
当前支持
Int8DynActInt4WeightQuantizer
: “8da4w”Int4WeightOnlyQuantizer
: “4w”Int8DynActInt4WeightQATQuantizer
: “8da4w-qat”Int4WeightOnlyQATQuantizer
: “4w-qat”
- 参数:
quantizer (Optional[Callable]) – 一个实现 quantize 方法的可调用对象。
- 返回:
量化模式。
- 返回类型:
Optional[str]