AlphaDropout

class torch.nn.AlphaDropout(p=0.5, inplace=False)

对输入应用 Alpha Dropout。

Alpha Dropout 是一种 Dropout 类型，它保持自归一化属性。对于均值为零、标准差为单位的输入，Alpha Dropout 的输出保持输入的原始均值和标准差。Alpha Dropout 与 SELU 激活函数协同工作，SELU 激活函数确保输出的均值为零，标准差为单位。

在训练期间，它使用伯努利分布的样本，以概率 p 随机遮蔽输入张量中的某些元素。每次前向调用时，被遮蔽的元素都是随机的，并且进行缩放和平移以保持零均值和单位标准差。

在评估期间，此模块仅计算恒等函数。

更多详细信息可在论文 自归一化神经网络 中找到。

参数

• p (float) – 元素被丢弃的概率。默认值：0.5

• inplace (bool, optional) – 如果设置为 True，将就地执行此操作

形状

• 输入: $(*)$. 输入可以是任何形状

• 输出: $(*)$. 输出的形状与输入相同

示例

>>> m = nn.AlphaDropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)