AlphaDropout¶
- class torch.nn.AlphaDropout(p=0.5, inplace=False)[源代码]¶
对输入应用 Alpha Dropout。
Alpha Dropout 是一种 Dropout 类型,它保持自归一化属性。对于具有零均值和单位标准差的输入,Alpha Dropout 的输出保持输入的原始均值和标准差。Alpha Dropout 与 SELU 激活函数相辅相成,它确保输出具有零均值和单位标准差。
在训练期间,它使用伯努利分布的样本以概率 _p_ 随机掩盖输入张量中的一些元素。要掩盖的元素在每次前向调用时都会随机化,并进行缩放和移位以保持零均值和单位标准差。
在评估期间,该模块仅计算恒等函数。
更多详细信息可以在论文 自归一化神经网络 中找到。
- 形状
输入:. 输入可以是任何形状
输出:. 输出的形状与输入相同
示例
>>> m = nn.AlphaDropout(p=0.2) >>> input = torch.randn(20, 16) >>> output = m(input)