torch.nn.functional.glu

torch.nn.functional.glu(input, dim=-1) → Tensor

门控线性单元。计算公式为

$$\text{GLU}(a, b) = a \otimes \sigma(b)$$

其中 input 沿 dim 维度被分成两半，形成 a 和 b，$\sigma$ 是 sigmoid 函数，$\otimes$ 是矩阵之间的元素级乘积。

参见 Language Modeling with Gated Convolutional Networks。

参数

• input (Tensor) – 输入张量

• dim (int) – 拆分输入的维度。默认值：-1

返回类型

Tensor