快捷方式

SELU

class torch.nn.SELU(inplace=False)[source]

逐元素应用 SELU 函数。

SELU(x)=scale(max(0,x)+min(0,α(exp(x)1)))\text{SELU}(x) = \text{scale} * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1)))

其中 α=1.6732632423543772848170429916717\alpha = 1.6732632423543772848170429916717 以及 scale=1.0507009873554804934193349852946\text{scale} = 1.0507009873554804934193349852946.

警告

在使用 kaiming_normalkaiming_normal_ 进行初始化时,应使用 nonlinearity='linear' 而不是 nonlinearity='selu' 以获得 自归一化神经网络。有关更多信息,请参见 torch.nn.init.calculate_gain()

更多详细信息可以在论文 自归一化神经网络 中找到。

参数

inplace (布尔值可选) – 可选择地就地执行操作。默认值:False

形状
  • 输入:()(*),其中 * 表示任意数量的维度。

  • 输出:()(*),与输入形状相同。

../_images/SELU.png

示例

>>> m = nn.SELU()
>>> input = torch.randn(2)
>>> output = m(input)

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取适合初学者和高级开发人员的深度教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源