SiLU¶
- class torch.nn.SiLU(inplace=False)[source]¶
按元素应用 Sigmoid 线性单元 (SiLU) 函数。
SiLU 函数也称为 swish 函数。
σ ( x ) 是逻辑 sigmoid。 \text{silu}(x) = x * \sigma(x), \text{其中 } \sigma(x) \text{ 是逻辑 sigmoid。} 注意
请参见 高斯误差线性单元 (GELUs),其中最初命名了 SiLU (Sigmoid 线性单元),并参见 用于强化学习中神经网络函数逼近的 Sigmoid 加权线性单元 和 Swish:一种自门控激活函数,其中后来对 SiLU 进行了实验。
- 形状
输入:,其中 表示任何数量的维度。
输出:,与输入相同的形状。
示例
>>> m = nn.SiLU() >>> input = torch.randn(2) >>> output = m(input)