int8_weight_only

torchao.quantization.int8_weight_only(group_size=None)

对线性层应用 int8 仅权重对称逐通道量化。