LnStructured¶
- class torch.nn.utils.prune.LnStructured(amount, n, dim=-1)[源代码]¶
根据其 L
n
范数修剪张量中所有(当前未修剪的)通道。- 参数
- classmethod apply(module, name, amount, n, dim, importance_scores=None)[源代码]¶
即时添加修剪并重新参数化张量。
添加前向预挂钩,该挂钩能够即时修剪并根据原始张量和修剪掩码重新参数化张量。
- 参数
module (nn.Module) – 包含要修剪张量的模块
name (str) –
module
中将要进行修剪操作的参数名称。amount (int 或 float) – 要修剪的参数数量。如果为
float
,应在 0.0 和 1.0 之间,表示要修剪的参数的比例。如果为int
,它表示要修剪的绝对参数数量。n (int, float, inf, -inf, 'fro', 'nuc') – 请参阅
torch.norm()
中参数p
的有效条目文档。dim (int) – 定义要修剪通道的维度的索引。
importance_scores (torch.Tensor) – 用于计算修剪掩码的重要性评分张量(与模块参数形状相同)。此张量中的值表示要修剪的参数中相应元素的重要性。如果未指定或为 None,则将使用模块参数代替。
- apply_mask(module)¶
只需处理要修剪的参数与生成的掩码之间的乘法。
从模块中获取掩码和原始张量,并返回修剪后的张量版本。
- 参数
module (nn.Module) – 包含要修剪张量的模块
- 返回值
修剪后的输入张量
- 返回类型
pruned_tensor (torch.Tensor)
- compute_mask(t, default_mask)[源代码]¶
计算并返回输入张量
t
的掩码。从基本
default_mask
(如果张量尚未修剪,则应为全为一的掩码)开始,通过将指定维度上具有最低 Ln
范数的通道置零来生成一个要在default_mask
之上应用的掩码。- 参数
t (torch.Tensor) – 表示要修剪的参数的张量
default_mask (torch.Tensor) – 来自先前修剪迭代的基本掩码,需要在应用新掩码后予以保留。与
t
相同的维度。
- 返回值
应用于
t
的掩码,与t
维度相同- 返回类型
掩码 (torch.Tensor)
- 引发
IndexError – 如果
self.dim >= len(t.shape)
- prune(t, default_mask=None, importance_scores=None)¶
计算并返回输入张量
t
的修剪版本。根据
compute_mask()
中指定的修剪规则。- 参数
t (torch.Tensor) – 要修剪的张量(与
default_mask
维度相同)。importance_scores (torch.Tensor) – 重要性分数张量(与
t
形状相同),用于计算修剪t
的掩码。此张量中的值指示正在修剪的t
中对应元素的重要性。如果未指定或为 None,则将使用张量t
代替。default_mask (torch.Tensor, optional) – 来自先前修剪迭代的掩码(如果有)。在确定修剪应作用于张量的哪一部分时应予以考虑。如果为 None,则默认为全为一的掩码。
- 返回值
张量
t
的修剪版本。
- remove(module)¶
从模块中删除修剪重新参数化。
名为
name
的修剪参数将永久修剪,名为name+'_orig'
的参数将从参数列表中删除。类似地,名为name+'_mask'
的缓冲区将从缓冲区中删除。注意
修剪本身不会撤消或逆转!