torchao.sparsity¶
使用 apply_tensor_subclass 转换模型中线性模块的权重。 |
|
将线性模块的权重转换为半结构化 (2:4) 稀疏性 |
|
将 int8 动态对称逐 token 激活和 int8 逐通道权重量化 + 2:4 稀疏性应用于线性层。 |
|
此函数在模型中的所有线性层上模拟 2:4 稀疏性。 |
|
Wanda 稀疏器 |
|
计算每个通道的 L2 范数并将其存储在缓冲区中的自定义观察器。 |
使用 apply_tensor_subclass 转换模型中线性模块的权重。 |
|
将线性模块的权重转换为半结构化 (2:4) 稀疏性 |
|
将 int8 动态对称逐 token 激活和 int8 逐通道权重量化 + 2:4 稀疏性应用于线性层。 |
|
此函数在模型中的所有线性层上模拟 2:4 稀疏性。 |
|
Wanda 稀疏器 |
|
计算每个通道的 L2 范数并将其存储在缓冲区中的自定义观察器。 |