torch.nn.functional.glu

torch.nn.functional.glu(input, dim=- 1) → Tensor

门控线性单元。计算如下：

$$\text{GLU}(a, b) = a \otimes \sigma(b)$$

沿着维度将输入分成两半形成 a 和 b， $\sigma$ 是 Sigmoid 函数， $\otimes$ 是矩阵之间的逐元素乘积。

查看带有门控卷积神经网络的语料库建模。

参数:

• 输入（张量）- 输入张量

• dim（整数）- 分割输入的维度。默认：-1

返回类型:

张量