快捷方式

SiLU

class torch.nn.SiLU(inplace=False)[source]

按元素应用 Sigmoid 线性单元 (SiLU) 函数。

SiLU 函数也称为 swish 函数。

silu(x)=xσ(x),其中 σ(x) 是逻辑 sigmoid。\text{silu}(x) = x * \sigma(x), \text{其中 } \sigma(x) \text{ 是逻辑 sigmoid。}

注意

请参见 高斯误差线性单元 (GELUs),其中最初命名了 SiLU (Sigmoid 线性单元),并参见 用于强化学习中神经网络函数逼近的 Sigmoid 加权线性单元Swish:一种自门控激活函数,其中后来对 SiLU 进行了实验。

形状
  • 输入:()(*),其中 * 表示任何数量的维度。

  • 输出:()(*),与输入相同的形状。

../_images/SiLU.png

示例

>>> m = nn.SiLU()
>>> input = torch.randn(2)
>>> output = m(input)

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并解答问题

查看资源