smooth_fq_linear_to_inference¶
- torchao.quantization.smooth_fq_linear_to_inference(model, debug_skip_calibration=False) None[源代码]¶
通过计算每个 SmoothFakeDynamicallyQuantizedLinear 层的 smoothquant 比例来为推理准备模型。
- 参数:
model (torch.nn.Module) – 包含 SmoothFakeDynamicallyQuantizedLinear 层的模型。
debug_skip_calibration (bool, 可选) – 如果为 True，则将激活的运行最大值设置为调试值以进行性能基准测试。默认为 False。
- 返回:
None
