SELU¶
- class torch.nn.SELU(inplace=False)[source]¶
逐元素应用 SELU 函数。
) + min ( 0 , α ∗ ( exp ( x ) − 1 ) ) ) \text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1))) 其中 以及 .
警告
在使用
kaiming_normal
或kaiming_normal_
进行初始化时,应使用nonlinearity='linear'
而不是nonlinearity='selu'
以获得 自归一化神经网络。有关更多信息,请参见torch.nn.init.calculate_gain()
。更多详细信息可以在论文 自归一化神经网络 中找到。
- 参数
inplace (布尔值,可选) – 可选择地就地执行操作。默认值:
False
- 形状
输入:,其中 表示任意数量的维度。
输出:,与输入形状相同。
示例
>>> m = nn.SELU() >>> input = torch.randn(2) >>> output = m(input)