快捷方式

torch.nn.utils.parametrizations.spectral_norm

torch.nn.utils.parametrizations.spectral_norm(module, name='weight', n_power_iterations=1, eps=1e-12, dim=None)[源代码]

对给定模块中的参数应用谱归一化。

WSN=Wσ(W),σ(W)=maxh:h0Wh2h2\mathbf{W}_{SN} = \dfrac{\mathbf{W}}{\sigma(\mathbf{W})}, \sigma(\mathbf{W}) = \max_{\mathbf{h}: \mathbf{h} \ne 0} \dfrac{\|\mathbf{W} \mathbf{h}\|_2}{\|\mathbf{h}\|_2}

应用于向量时,它简化为

xSN=xx2\mathbf{x}_{SN} = \dfrac{\mathbf{x}}{\|\mathbf{x}\|_2}

谱归一化通过降低模型的 Lipschitz 常数来稳定生成对抗网络 (GAN) 中鉴别器(评论家)的训练。 σ\sigma 是通过每次访问权重时执行一次 幂迭代 方法来近似的。如果权重张量的维数大于 2,则在幂迭代方法中将其重塑为 2D 以获得谱范数。

参见 生成对抗网络的谱归一化

注意

此函数使用 register_parametrization() 中的参数化功能实现。它是 torch.nn.utils.spectral_norm() 的重新实现。

注意

注册此约束后,将估计与最大奇异值相关的奇异向量,而不是随机采样。然后,每当在模块处于 训练 模式下访问张量时,就会通过执行 n_power_iterations幂迭代 方法来更新它们。

注意

如果 _SpectralNorm 模块,即 module.parametrization.weight[idx] 在移除时处于训练模式,它将执行另一个幂迭代。如果你想避免这种迭代,请在移除模块之前将其设置为评估模式。

参数
  • module (nn.Module) – 包含的模块

  • name (str, optional) – 权重参数的名称。默认值:"weight"

  • n_power_iterations (int, optional) – 计算谱范数的幂迭代次数。默认值:1

  • eps (float, optional) – 计算范数时数值稳定性的 epsilon。默认值:1e-12

  • dim (int, optional) – 与输出数量相对应的维数。默认值:0,除了模块是 ConvTranspose{1,2,3}d 实例,此时为 1

返回值

具有注册到指定权重的新的参数化的原始模块

返回类型

Module

示例

>>> snm = spectral_norm(nn.Linear(20, 40))
>>> snm
ParametrizedLinear(
  in_features=20, out_features=40, bias=True
  (parametrizations): ModuleDict(
    (weight): ParametrizationList(
      (0): _SpectralNorm()
    )
  )
)
>>> torch.linalg.matrix_norm(snm.weight, 2)
tensor(1.0081, grad_fn=<AmaxBackward0>)

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源