快捷方式

torch.nn.init

警告

此模块中的所有函数都旨在用于初始化神经网络参数,因此它们都在 torch.no_grad() 模式下运行,并且不会被 autograd 考虑。

torch.nn.init.calculate_gain(nonlinearity, param=None)[source]

返回给定非线性函数的推荐增益值。

值如下

非线性

增益

线性 / 恒等

11

Conv{1,2,3}D

11

Sigmoid

11

Tanh

53\frac{5}{3}

ReLU

2\sqrt{2}

Leaky Relu

21+negative_slope2\sqrt{\frac{2}{1 + \text{negative\_slope}^2}}

SELU

34\frac{3}{4}

警告

为了实现自归一化神经网络,您应该使用nonlinearity='linear'而不是nonlinearity='selu'。这使得初始权重的方差为1 / N,这对于在正向传递中诱导稳定的不动点是必要的。相反,SELU的默认增益牺牲了归一化效果,以换取在矩形层中更稳定的梯度流。

参数
  • nonlinearity – 非线性函数(nn.functional 名称)

  • param – 非线性函数的可选参数

示例

>>> gain = nn.init.calculate_gain('leaky_relu', 0.2)  # leaky_relu with negative_slope=0.2
torch.nn.init.uniform_(tensor, a=0.0, b=1.0, generator=None)[source]

用从均匀分布中抽取的值填充输入张量。

U(a,b)\mathcal{U}(a, b).

参数
  • tensor (张量) – n 维 torch.Tensor

  • a (浮点数) – 均匀分布的下界

  • b (浮点数) – 均匀分布的上界

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

返回类型

张量

示例

>>> w = torch.empty(3, 5)
>>> nn.init.uniform_(w)
torch.nn.init.normal_(tensor, mean=0.0, std=1.0, generator=None)[source]

用从正态分布中抽取的值填充输入张量。

N(mean,std2)\mathcal{N}(\text{mean}, \text{std}^2).

参数
  • tensor (张量) – n 维 torch.Tensor

  • mean (浮点数) – 正态分布的均值

  • std (浮点数) – 正态分布的标准差

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

返回类型

张量

示例

>>> w = torch.empty(3, 5)
>>> nn.init.normal_(w)
torch.nn.init.constant_(tensor, val)[source]

用值val\text{val}填充输入张量。

参数
  • tensor (张量) – n 维 torch.Tensor

  • val (浮点数) – 用于填充张量的值

返回类型

张量

示例

>>> w = torch.empty(3, 5)
>>> nn.init.constant_(w, 0.3)
torch.nn.init.ones_(tensor)[source]

用标量值1填充输入张量。

参数

tensor (张量) – n 维 torch.Tensor

返回类型

张量

示例

>>> w = torch.empty(3, 5)
>>> nn.init.ones_(w)
torch.nn.init.zeros_(tensor)[source]

用标量值0填充输入张量。

参数

tensor (张量) – n 维 torch.Tensor

返回类型

张量

示例

>>> w = torch.empty(3, 5)
>>> nn.init.zeros_(w)
torch.nn.init.eye_(tensor)[source]

用单位矩阵填充二维输入张量

保留线性层中输入的恒等性,尽可能多地保留输入。

参数

tensor – 二维 torch.Tensor

示例

>>> w = torch.empty(3, 5)
>>> nn.init.eye_(w)
torch.nn.init.dirac_(tensor, groups=1)[source]

用狄拉克 delta 函数填充 {3, 4, 5} 维输入张量

保留卷积层中输入的恒等性,尽可能多地保留输入通道。如果 groups>1,则每组通道都保留恒等性

参数
  • tensor – {3, 4, 5} 维 torch.Tensor

  • groups (整数, 可选) – 卷积层中的组数(默认值:1)

示例

>>> w = torch.empty(3, 16, 5, 5)
>>> nn.init.dirac_(w)
>>> w = torch.empty(3, 24, 5, 5)
>>> nn.init.dirac_(w, 3)
torch.nn.init.xavier_uniform_(tensor, gain=1.0, generator=None)[source]

使用 Xavier 均匀分布的值填充输入张量

该方法在理解训练深度前馈神经网络的难度 - Glorot, X. & Bengio, Y. (2010) 中进行了描述。生成的张量将具有从U(a,a)\mathcal{U}(-a, a)中采样的值,其中

a=gain×6fan_in+fan_outa = \text{gain} \times \sqrt{\frac{6}{\text{fan\_in} + \text{fan\_out}}}

也称为 Glorot 初始化。

参数
  • tensor (张量) – n 维 torch.Tensor

  • gain (浮点数) – 可选的缩放因子

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

返回类型

张量

示例

>>> w = torch.empty(3, 5)
>>> nn.init.xavier_uniform_(w, gain=nn.init.calculate_gain('relu'))

注意

请注意,fan_infan_out 的计算假设权重矩阵以转置方式使用(即,在 Linear 层中使用 x @ w.T,其中 w.shape = [fan_out, fan_in])。这对于正确的初始化非常重要。如果您计划使用 x @ w,其中 w.shape = [fan_in, fan_out],请传入转置的权重矩阵,即 nn.init.xavier_uniform_(w.T, ...)

torch.nn.init.xavier_normal_(tensor, gain=1.0, generator=None)[source]

使用 Xavier 正态分布填充输入的 Tensor

该方法在 Understanding the difficulty of training deep feedforward neural networks - Glorot, X. & Bengio, Y. (2010) 中进行了描述。生成的张量将具有从 N(0,std2)\mathcal{N}(0, \text{std}^2) 中采样的值,其中

std=gain×2fan_in+fan_out\text{std} = \text{gain} \times \sqrt{\frac{2}{\text{fan\_in} + \text{fan\_out}}}

也称为 Glorot 初始化。

参数
  • tensor (张量) – n 维 torch.Tensor

  • gain (浮点数) – 可选的缩放因子

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

返回类型

张量

示例

>>> w = torch.empty(3, 5)
>>> nn.init.xavier_normal_(w)

注意

请注意,fan_infan_out 的计算假设权重矩阵以转置方式使用(即,在 Linear 层中使用 x @ w.T,其中 w.shape = [fan_out, fan_in])。这对于正确的初始化非常重要。如果您计划使用 x @ w,其中 w.shape = [fan_in, fan_out],请传入转置的权重矩阵,即 nn.init.xavier_normal_(w.T, ...)

torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu', generator=None)[source]

使用 Kaiming 均匀分布填充输入的 Tensor

该方法在 Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification - He, K. et al. (2015) 中进行了描述。生成的张量将具有从 U(bound,bound)\mathcal{U}(-\text{bound}, \text{bound}) 中采样的值,其中

bound=gain×3fan_mode\text{bound} = \text{gain} \times \sqrt{\frac{3}{\text{fan\_mode}}}

也称为 He 初始化。

参数
  • tensor (张量) – n 维 torch.Tensor

  • a (浮点数) – 此层之后使用的整流器的负斜率(仅在 'leaky_relu' 时使用)

  • mode (字符串) – 'fan_in'(默认)或 'fan_out'。选择 'fan_in' 保留前向传递中权重方差的大小。选择 'fan_out' 保留反向传递中的大小。

  • 非线性函数 (str) – 非线性函数(nn.functional 名称),建议仅与 'relu''leaky_relu' 一起使用(默认值)。

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

示例

>>> w = torch.empty(3, 5)
>>> nn.init.kaiming_uniform_(w, mode='fan_in', nonlinearity='relu')

注意

请注意,fan_infan_out 的计算假设权重矩阵以转置的方式使用(即,在 Linear 层中使用 x @ w.T,其中 w.shape = [fan_out, fan_in])。这对于正确的初始化非常重要。如果您计划使用 x @ w,其中 w.shape = [fan_in, fan_out],请传入转置后的权重矩阵,即 nn.init.kaiming_uniform_(w.T, ...)

torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu', generator=None)[source]

使用 Kaiming 正态分布填充输入 Tensor 的值。

该方法在 深入探讨整流器:在 ImageNet 分类上超越人类水平的性能 - He, K. 等人 (2015) 中进行了描述。生成的张量将具有从 N(0,std2)\mathcal{N}(0, \text{std}^2) 中采样的值,其中

std=gainfan_mode\text{std} = \frac{\text{gain}}{\sqrt{\text{fan\_mode}}}

也称为 He 初始化。

参数
  • tensor (张量) – n 维 torch.Tensor

  • a (浮点数) – 此层之后使用的整流器的负斜率(仅在 'leaky_relu' 时使用)

  • mode (字符串) – 'fan_in'(默认)或 'fan_out'。选择 'fan_in' 保留前向传递中权重方差的大小。选择 'fan_out' 保留反向传递中的大小。

  • 非线性函数 (str) – 非线性函数(nn.functional 名称),建议仅与 'relu''leaky_relu' 一起使用(默认值)。

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

示例

>>> w = torch.empty(3, 5)
>>> nn.init.kaiming_normal_(w, mode='fan_out', nonlinearity='relu')

注意

请注意,fan_infan_out 的计算假设权重矩阵以转置的方式使用(即,在 Linear 层中使用 x @ w.T,其中 w.shape = [fan_out, fan_in])。这对于正确的初始化非常重要。如果您计划使用 x @ w,其中 w.shape = [fan_in, fan_out],请传入转置后的权重矩阵,即 nn.init.kaiming_normal_(w.T, ...)

torch.nn.init.trunc_normal_(tensor, mean=0.0, std=1.0, a=-2.0, b=2.0, generator=None)[source]

用截断正态分布中抽取的值填充输入 Tensor。

这些值实际上是从正态分布 N(mean,std2)\mathcal{N}(\text{mean}, \text{std}^2) 中抽取的,其值在 [a,b][a, b] 之外会被重新绘制,直到它们在边界内。用于生成随机值的方法在 ameanba \leq \text{mean} \leq b 时效果最佳。

参数
  • tensor (张量) – n 维 torch.Tensor

  • mean (浮点数) – 正态分布的均值

  • std (浮点数) – 正态分布的标准差

  • a (float) – 最小截止值

  • b (float) – 最大截止值

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

返回类型

张量

示例

>>> w = torch.empty(3, 5)
>>> nn.init.trunc_normal_(w)
torch.nn.init.orthogonal_(tensor, gain=1, generator=None)[source]

用(半)正交矩阵填充输入 Tensor

深度线性神经网络学习的非线性动力学精确解 - Saxe, A. 等人 (2013) 中进行了描述。输入张量必须至少具有 2 个维度,对于具有 2 个以上维度的张量,尾随维度将被展平。

参数
  • tensor – 一个 n 维 torch.Tensor,其中 n2n \geq 2

  • gain – 可选的缩放因子

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

示例

>>> w = torch.empty(3, 5)
>>> nn.init.orthogonal_(w)
torch.nn.init.sparse_(tensor, sparsity, std=0.01, generator=None)[source]

将 2D 输入 Tensor 填充为稀疏矩阵。

非零元素将从正态分布 N(0,0.01)\mathcal{N}(0, 0.01) 中抽取,如 Martens, J. (2010) 的论文 Deep learning via Hessian-free optimization 中所述。

参数
  • 张量 (tensor) – n 维的 torch.Tensor

  • 稀疏性 (sparsity) – 每列中设置为零的元素的比例

  • 标准差 (std) – 用于生成非零值的正态分布的标准差

  • generator (可选[生成器]) – 用于采样的 torch 生成器(默认值:None)

示例

>>> w = torch.empty(3, 5)
>>> nn.init.sparse_(w, sparsity=0.1)

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源