RReLU¶
- class torch.nn.RReLU(lower=0.125, upper=0.3333333333333333, inplace=False)[source]¶
逐元素应用随机泄漏整流线性单元函数。
该方法在论文中描述:卷积网络中整流激活的经验评估。
该函数定义为
其中 在训练期间从均匀分布 中随机采样,而在评估期间, 使用 固定。
- 参数
- 形状
输入:,其中 表示任意数量的维度。
输出:,与输入形状相同。
示例
>>> m = nn.RReLU(0.1, 0.3) >>> input = torch.randn(2) >>> output = m(input)