快捷方式

get_quantizer_mode

torchtune.training.get_quantizer_mode(quantizer: Optional[Callable]) Optional[str][源代码]

给定一个量化器对象,返回一个指定量化类型的字符串。

例如,在 int4 权重仅量化的案例中,我们将返回“4w”。如果量化器不被识别为已知的量化器,我们将返回 None。

当前支持

  • Int8DynActInt4WeightQuantizer: “8da4w”(需要 torch>=2.3.0

  • Int8DynActInt4WeightQATQuantizer: “8da4w-qat”(需要 torch>=2.4.0

参数:

quantizer (Optional[Callable]) – 实现 quantize 方法的可调用对象。

返回值:

量化模式。

返回类型:

Optional[str]

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源