LnStructured

class torch.nn.utils.prune.LnStructured(amount, n, dim=-1)

根据 Ln-范数对张量中的整个（当前未剪枝的）通道进行剪枝。

参数

• amount (int 或 float) – 要剪枝的通道数量。如果是 float 类型，应介于 0.0 和 1.0 之间，表示要剪枝的参数比例。如果是 int 类型，表示要剪枝的参数绝对数量。

• n (int, float, inf, -inf, 'fro', 'nuc') – 参见 torch.norm() 中参数 p 的有效条目文档。

• dim (int, 可选) – 定义要剪枝的通道的维度索引。默认值: -1。

classmethod apply(module, name, amount, n, dim, importance_scores=None)

添加张量的即时剪枝和重新参数化。

添加前向预钩子，该钩子启用张量的即时剪枝，并基于原始张量和剪枝掩码对张量进行重新参数化。

参数

• module (nn.Module) – 包含要剪枝的张量的模块

• name (str) – 在 module 内要进行剪枝的参数名称。

• amount (int 或 float) – 要剪枝的参数数量。如果是 float 类型，应介于 0.0 和 1.0 之间，表示要剪枝的参数比例。如果是 int 类型，表示要剪枝的参数绝对数量。

• n (int, float, inf, -inf, 'fro', 'nuc') – 参见 torch.norm() 中参数 p 的有效条目文档。

• dim (int) – 定义要剪枝的通道的维度索引。

• importance_scores (torch.Tensor) – 重要性分数张量（与模块参数形状相同），用于计算剪枝掩码。此张量中的值表示待剪枝参数中对应元素的重要性。如果未指定或为 None，则将使用模块参数代替。

apply_mask(module)

简单处理待剪枝参数与生成的掩码之间的乘法。

从模块中获取掩码和原始张量，并返回张量的剪枝版本。

参数

module (nn.Module) – 包含要剪枝的张量的模块

返回值

输入张量的剪枝版本

返回类型

pruned_tensor (torch.Tensor)

compute_mask(t, default_mask)

计算并返回输入张量 t 的掩码。

从基础 default_mask（如果张量尚未剪枝，该掩码应全为一）开始，生成一个掩码应用于 default_mask 之上，方法是将沿指定维度且具有最低 Ln-范数的通道置零。

参数

• t (torch.Tensor) – 表示要剪枝的参数的张量

• default_mask (torch.Tensor) – 来自之前剪枝迭代的基础掩码，在应用新掩码后需要保留。与 t 维度相同。

返回值

应用于 t 的掩码，与 t 维度相同

返回类型

mask (torch.Tensor)

抛出

IndexError – 如果 self.dim >= len(t.shape)

prune(t, default_mask=None, importance_scores=None)

计算并返回输入张量 t 的剪枝版本。

根据 compute_mask() 中指定的剪枝规则。

参数

• t (torch.Tensor) – 要剪枝的张量（与 default_mask 维度相同）。

• importance_scores (torch.Tensor) – 重要性分数张量（与 t 形状相同），用于计算剪枝 t 的掩码。此张量中的值表示待剪枝 t 中对应元素的重要性。如果未指定或为 None，则将使用张量 t 代替。

• default_mask (torch.Tensor, 可选) – 来自之前剪枝迭代的掩码（如果有）。在确定剪枝应作用于张量的哪个部分时需要考虑。如果为 None，默认为全一张量。

返回值

张量 t 的剪枝版本。

remove(module)

从模块中移除剪枝重新参数化。

名为 name 的剪枝参数永久保留剪枝状态，名为 name+'_orig' 的参数从参数列表中移除。类似地，名为 name+'_mask' 的缓冲区从缓冲区列表中移除。

注

剪枝本身不会被撤销或反转！