torch.nn.utils.parametrizations.spectral_norm¶
- torch.nn.utils.parametrizations.spectral_norm(module, name='weight', n_power_iterations=1, eps=1e-12, dim=None)[源代码]¶
对给定模块中的参数应用谱归一化。
应用于向量时,它简化为
谱归一化通过降低模型的 Lipschitz 常数来稳定生成对抗网络 (GAN) 中鉴别器(评论家)的训练。 是通过每次访问权重时执行一次 幂迭代 方法来近似的。如果权重张量的维数大于 2,则在幂迭代方法中将其重塑为 2D 以获得谱范数。
参见 生成对抗网络的谱归一化 。
注意
此函数使用
register_parametrization()
中的参数化功能实现。它是torch.nn.utils.spectral_norm()
的重新实现。注意
注册此约束后,将估计与最大奇异值相关的奇异向量,而不是随机采样。然后,每当在模块处于 训练 模式下访问张量时,就会通过执行
n_power_iterations
次 幂迭代 方法来更新它们。注意
如果 _SpectralNorm 模块,即 module.parametrization.weight[idx] 在移除时处于训练模式,它将执行另一个幂迭代。如果你想避免这种迭代,请在移除模块之前将其设置为评估模式。
- 参数
- 返回值
具有注册到指定权重的新的参数化的原始模块
- 返回类型
示例
>>> snm = spectral_norm(nn.Linear(20, 40)) >>> snm ParametrizedLinear( in_features=20, out_features=40, bias=True (parametrizations): ModuleDict( (weight): ParametrizationList( (0): _SpectralNorm() ) ) ) >>> torch.linalg.matrix_norm(snm.weight, 2) tensor(1.0081, grad_fn=<AmaxBackward0>)