GRU

class torch.nn.GRU(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, device=None, dtype=None)

将多层门控循环单元（GRU）RNN 应用于输入序列。对于输入序列中的每个元素，每一层都计算以下函数：

$$\begin{array}{ll} r_t = \sigma(W_{ir} x_t + b_{ir} + W_{hr} h_{(t-1)} + b_{hr}) \\ z_t = \sigma(W_{iz} x_t + b_{iz} + W_{hz} h_{(t-1)} + b_{hz}) \\ n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \\ h_t = (1 - z_t) \odot n_t + z_t \odot h_{(t-1)} \end{array}$$

其中 $h_t$ 是时间 t 的隐藏状态， $x_t$ 是时间 t 的输入， $h_{(t-1)}$ 是时间 t-1 层的隐藏状态或时间 0 的初始隐藏状态， $r_t$ 、 $z_t$ 、 $n_t$ 分别是重置门、更新门和新门。 $\sigma$ 是 Sigmoid 函数， $\odot$ 是 Hadamard 积。

在多层 GRU 中，第 1#层的输入 $x^{(l)}_t$ 是前一层隐藏状态 $h^{(l-1)}_t$ 乘以 dropout $\delta^{(l-1)}_t$ ，其中每个 $\delta^{(l-1)}_t$ 是一个伯努利随机变量，其概率为 $0$ 。

参数:

• input_size – 输入 x 中期望的特征数量

• 隐藏层大小 – 隐藏状态 h 中的特征数量

• num_layers – 循环层的数量。例如，设置 num_layers=2 表示将两个 GRU 堆叠在一起形成堆叠 GRU，第二个 GRU 接收第一个 GRU 的输出并计算最终结果。默认：1

• bias – 如果 False ，则该层不使用偏置权重 b_ih 和 b_hh。默认： True

• batch_first – 如果 True ，则输入和输出张量以（batch，seq，feature）的形式提供，而不是（seq，batch，feature）。注意，这不适用于隐藏或细胞状态。有关详细信息，请参阅下面的输入/输出部分。默认值： False

• dropout – 如果非零，则在每个 GRU 层的输出（除了最后一层）上引入一个 Dropout 层，dropout 概率等于 dropout 。默认：0

• bidirectional – 如果 True ，则变为双向 GRU。默认： False

输入：input, h_0

• 输入：形状为 $(L, H_{in})$ 的张量，用于未批处理的输入，当 batch_first=False 时为 $(L, N, H_{in})$ ，当 batch_first=True 时为 $(N, L, H_{in})$ ，包含输入序列的特征。输入也可以是打包的可变长度序列。有关详细信息，请参阅 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence() 。

• h_0：形状为 $(D * \text{num\_layers}, H_{out})$ 或 $(D * \text{num\_layers}, N, H_{out})$ 的 tensor，包含输入序列的初始隐藏状态。如果没有提供，则默认为零。

哪儿

$$\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}$$

输出：output, h_n

• 输出：形状为 $(L, D * H_{out})$ 的 tensor（对于非批处理输入）， $(L, N, D * H_{out})$ （当 batch_first=False 时）， $(N, L, D * H_{out})$ （当 batch_first=True 时）包含 GRU 最后一层的输出特征（h_t），对于每个 t。如果已给出 torch.nn.utils.rnn.PackedSequence 作为输入，则输出也将是一个打包的序列。

• h_n：形状为 $(D * \text{num\_layers}, H_{out})$ 或 $(D * \text{num\_layers}, N, H_{out})$ 的 tensor，包含输入序列的最终隐藏状态。

变量:

• weight_ih_l[k] – 第 $\text{k}^{th}$ 层的可学习输入-隐藏权重（W_ir|W_iz|W_in），形状为(3*hidden_size, input_size)，对于 k = 0。否则，形状为(3*hidden_size, num_directions * hidden_size)

• weight_hh_l[k] – 第 $\text{k}^{th}$ 层的可学习隐藏-隐藏权重（W_hr|W_hz|W_hn），形状为(3*hidden_size, hidden_size)

• bias_ih_l[k] – 第 0#层的可学习输入-隐藏偏差（b_ir|b_iz|b_in），形状为（3*hidden_size）

• bias_hh_l[k] – 第 0#层的可学习隐藏-隐藏偏差（b_hr|b_hz|b_hn），形状为（3*hidden_size）

注意

所有权重和偏差都从 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 初始化，其中 $k = \frac{1}{\text{hidden\_size}}$

注意

对于双向 GRU，正向和反向方向分别为 0 和 1。当 batch_first=False 时输出层的分割示例： output.view(seq_len, batch, num_directions, hidden_size) 。

注意

batch_first 对于非批处理输入，参数被忽略。

注意

新门控 $n_t$ 的计算与原始论文和其他框架略有不同。在原始实现中，在乘以权重矩阵 W 和添加偏差之前，先进行 $r_t$ 和前一个隐藏状态 $h_{(t-1)}$ 之间的 Hadamard 积 $(\odot)$

$$\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + W_{hn} ( r_t \odot h_{(t-1)} ) + b_{hn}) \end{aligned}$$

这与 PyTorch 实现形成对比，后者是在 $W_{hn} h_{(t-1)}$ 之后进行的

$$\begin{aligned} n_t = \tanh(W_{in} x_t + b_{in} + r_t \odot (W_{hn} h_{(t-1)}+ b_{hn})) \end{aligned}$$

这种实现有意为之，以提高效率。

注意

如果满足以下条件：1）cudnn 已启用，2）输入数据位于 GPU 上，3）输入数据的数据类型为 torch.float16 ，4）使用 V100 GPU，5）输入数据不是 PackedSequence 格式，可以选择持久算法以提高性能。

示例：

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)