快捷方式

get_quantizer_mode

torchtune.training.get_quantizer_mode(quantizer: Optional[Callable]) Optional[str][源代码]

给定一个量化器对象,返回指定量化类型的字符串。

例如,对于 int4 权重专力量化,我们将返回“4w”。如果量化器未被识别为已知量化器,我们将返回 None。

当前支持的量化器:

  • Int8DynActInt4WeightQuantizer:“8da4w”

  • Int4WeightOnlyQuantizer:“4w”

  • Int8DynActInt4WeightQATQuantizer:“8da4w-qat”

  • Int4WeightOnlyQATQuantizer:“4w-qat”

参数:

quantizer (Optional[Callable]) – 一个实现了 quantize 方法的可调用对象。

返回值:

量化模式。

返回类型:

Optional[str]

文档

查阅 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题解答

查看资源