GLU ¬

class torch.nn.GLU(dim=- 1)[来源][来源] ¬

应用门控线性单元函数。

${GLU}(a, b)= a \otimes \sigma(b)$ 是输入矩阵的前半部分， $a$ 是后半部分。

参数:

dim (int) – 要分割输入的维度。默认：-1

形状：

• 输入： $(\ast_1, N, \ast_2)$ 其中 * 表示任意数量的额外维度

• 输出： $(\ast_1, M, \ast_2)$ 其中 $M=N/2$

示例：

>>> m = nn.GLU()
>>> input = torch.randn(4, 2)
>>> output = m(input)