快捷方式

LnStructured

class torch.nn.utils.prune.LnStructured(amount, n, dim=-1)[源代码]

根据其 Ln 范数修剪张量中所有(当前未修剪的)通道。

参数
  • amount (intfloat) – 要修剪的通道数量。如果为 float,应在 0.0 和 1.0 之间,表示要修剪的参数的比例。如果为 int,它表示要修剪的绝对参数数量。

  • n (int, float, inf, -inf, 'fro', 'nuc') – 请参阅 torch.norm() 中参数 p 的有效条目文档。

  • dim (int, 可选) – 定义要修剪通道的维度的索引。默认值:-1。

classmethod apply(module, name, amount, n, dim, importance_scores=None)[源代码]

即时添加修剪并重新参数化张量。

添加前向预挂钩,该挂钩能够即时修剪并根据原始张量和修剪掩码重新参数化张量。

参数
  • module (nn.Module) – 包含要修剪张量的模块

  • name (str) – module 中将要进行修剪操作的参数名称。

  • amount (intfloat) – 要修剪的参数数量。如果为 float,应在 0.0 和 1.0 之间,表示要修剪的参数的比例。如果为 int,它表示要修剪的绝对参数数量。

  • n (int, float, inf, -inf, 'fro', 'nuc') – 请参阅 torch.norm() 中参数 p 的有效条目文档。

  • dim (int) – 定义要修剪通道的维度的索引。

  • importance_scores (torch.Tensor) – 用于计算修剪掩码的重要性评分张量(与模块参数形状相同)。此张量中的值表示要修剪的参数中相应元素的重要性。如果未指定或为 None,则将使用模块参数代替。

apply_mask(module)

只需处理要修剪的参数与生成的掩码之间的乘法。

从模块中获取掩码和原始张量,并返回修剪后的张量版本。

参数

module (nn.Module) – 包含要修剪张量的模块

返回值

修剪后的输入张量

返回类型

pruned_tensor (torch.Tensor)

compute_mask(t, default_mask)[源代码]

计算并返回输入张量 t 的掩码。

从基本 default_mask(如果张量尚未修剪,则应为全为一的掩码)开始,通过将指定维度上具有最低 Ln 范数的通道置零来生成一个要在 default_mask 之上应用的掩码。

参数
  • t (torch.Tensor) – 表示要修剪的参数的张量

  • default_mask (torch.Tensor) – 来自先前修剪迭代的基本掩码,需要在应用新掩码后予以保留。与 t 相同的维度。

返回值

应用于 t 的掩码,与 t 维度相同

返回类型

掩码 (torch.Tensor)

引发

IndexError – 如果 self.dim >= len(t.shape)

prune(t, default_mask=None, importance_scores=None)

计算并返回输入张量 t 的修剪版本。

根据 compute_mask() 中指定的修剪规则。

参数
  • t (torch.Tensor) – 要修剪的张量(与 default_mask 维度相同)。

  • importance_scores (torch.Tensor) – 重要性分数张量(与 t 形状相同),用于计算修剪 t 的掩码。此张量中的值指示正在修剪的 t 中对应元素的重要性。如果未指定或为 None,则将使用张量 t 代替。

  • default_mask (torch.Tensor, optional) – 来自先前修剪迭代的掩码(如果有)。在确定修剪应作用于张量的哪一部分时应予以考虑。如果为 None,则默认为全为一的掩码。

返回值

张量 t 的修剪版本。

remove(module)

从模块中删除修剪重新参数化。

名为 name 的修剪参数将永久修剪,名为 name+'_orig' 的参数将从参数列表中删除。类似地,名为 name+'_mask' 的缓冲区将从缓冲区中删除。

注意

修剪本身不会撤消或逆转!

文档

访问 PyTorch 的全面的开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得您的问题解答

查看资源