LnStructured¶

class torch.nn.utils.prune.LnStructured(amount, n, dim=-1)[source][source]¶

根据张量的 Ln 范数修剪张量中整个（当前未修剪的）通道。

参数

amount (int 或 float) – 要修剪的通道数量。如果为 float，则应介于 0.0 和 1.0 之间，并表示要修剪的参数的比例。如果为 int，则表示要修剪的参数的绝对数量。
n (int, float, inf, -inf, 'fro', 'nuc') – 有关参数 p 的有效条目文档，请参阅 torch.norm()。
dim (int, optional) – 定义要修剪的通道的维度索引。默认值：-1。

classmethod apply(module, name, amount, n, dim, importance_scores=None)[source][source]¶

动态添加剪枝和张量的重参数化。

添加前向预钩子，以实现动态剪枝以及根据原始张量和剪枝掩码对张量进行重参数化。

参数

module (nn.Module) – 包含要剪枝的张量的模块
name (str) – module 中要对其执行剪枝的参数名称。
amount (int 或 float) – 要剪枝的参数数量。如果为 float，则应介于 0.0 和 1.0 之间，并表示要剪枝的参数的比例。如果为 int，则表示要剪枝的参数的绝对数量。
n (int, float, inf, -inf, 'fro', 'nuc') – 有关参数 p 的有效条目文档，请参阅 torch.norm()。
dim (int) – 定义要修剪的通道的维度索引。
importance_scores (torch.Tensor) – 重要性分数张量（与模块参数形状相同），用于计算剪枝的掩码。此张量中的值指示要剪枝的参数中相应元素的重要性。如果未指定或为 None，则将使用模块参数代替。

apply_mask(module)[source]¶

仅处理正在修剪的参数与生成的掩码之间的乘法。

从模块中获取掩码和原始张量，并返回张量的修剪版本。

compute_mask(t, default_mask)[source][source]¶

计算并返回输入张量 t 的掩码。

从基本 default_mask 开始（如果张量尚未修剪，则应为全 1 掩码），生成一个掩码以应用于 default_mask 之上，方法是沿指定的维度将 Ln 范数最低的通道归零。

参数

返回

要应用于 t 的掩码，与 t 的维度相同

返回类型

mask (torch.Tensor)

引发

IndexError – 如果 self.dim >= len(t.shape)

prune(t, default_mask=None, importance_scores=None)[source]¶

计算并返回输入张量 t 的修剪版本。

根据 compute_mask() 中指定的剪枝规则。

参数

t (torch.Tensor) – 要修剪的张量（与 default_mask 的维度相同）。
importance_scores (torch.Tensor) – 重要性分数张量（与 t 的形状相同），用于计算修剪 t 的掩码。此张量中的值指示要修剪的 t 中相应元素的重要性。如果未指定或为 None，则将使用张量 t 代替。
default_mask (torch.Tensor, optional) – 来自先前剪枝迭代的掩码（如果有）。在确定剪枝应作用于张量的哪个部分时要考虑。如果为 None，则默认为全 1 掩码。

返回

张量 t 的修剪版本。

remove(module)[source]¶

从模块中移除剪枝重参数化。

名为 name 的已剪枝参数将永久保持剪枝状态，并且名为 name+'_orig' 的参数将从参数列表中移除。同样，名为 name+'_mask' 的缓冲区将从缓冲区中移除。

注意

剪枝本身不会撤消或反转！

文档