smooth_fq_linear_to_inference¶
- torchao.quantization.smooth_fq_linear_to_inference(model, debug_skip_calibration=False) None[source]¶
通过计算每个 SmoothFakeDynamicallyQuantizedLinear 层的 smoothquant scale 来准备模型进行推理。
- 参数:
model (torch.nn.Module) – 包含 SmoothFakeDynamicallyQuantizedLinear 层的模型。
debug_skip_calibration (bool, optional) – 如果为 True，将激活的运行最大值设置为调试值，用于性能基准测试。默认为 False。
- 返回:
None
