快捷方式

get_quantizer_mode

torchtune.training.get_quantizer_mode(quantizer: Optional[Callable]) Optional[str][source]

给定一个量化器对象,返回一个字符串,指定量化的类型。

例如,在 int4 权重仅量化的情况下,我们将返回 “4w”。如果量化器未被识别为已知量化器,我们将返回 None。

当前支持

  • Int8DynActInt4WeightQuantizer: “8da4w”

  • Int4WeightOnlyQuantizer: “4w”

  • Int8DynActInt4WeightQATQuantizer: “8da4w-qat”

  • Int4WeightOnlyQATQuantizer: “4w-qat”

参数:

quantizer (Optional[Callable]) – 一个实现 quantize 方法的可调用对象。

返回:

量化模式。

返回类型:

Optional[str]

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深度教程

查看教程

资源

查找开发资源并获得问题解答

查看资源