torch.nn.functional.silu

torch.nn.functional.silu(input, inplace=False)

逐元素应用 Sigmoid 线性单元 (SiLU) 函数。

SiLU 函数也称为 swish 函数。

$$\text{silu}(x) = x * \sigma(x), \text{其中 } \sigma(x) \text{ 是逻辑 sigmoid.}$$

注意

请参阅 高斯误差线性单元 (GELUs)，其中最初提出了 SiLU (Sigmoid 线性单元)，并参阅 用于强化学习中神经网络函数逼近的 Sigmoid 加权线性单元 和 Swish：一种自门控激活函数，其中后来对 SiLU 进行了实验。

请参阅 SiLU 以获取更多详细信息。

返回类型

张量