torch.nn.functional.glu

torch.nn.functional.glu(input, dim=-1) → Tensor

门控线性单元。计算

$$\text{GLU}(a, b) = a \otimes \sigma(b)$$

其中 input 沿 dim 一分为二，形成 a 和 b，$\sigma$ 是 sigmoid 函数，$\otimes$ 是矩阵之间的逐元素乘积。

参见 使用门控卷积网络进行语言建模。

参数

• input (张量) – 输入张量

• dim (int) – 用于分割输入的维度。默认值：-1

返回类型

张量