LSTM

class torch.nn.LSTM(input_size, hidden_size, num_layers=1, bias=True, batch_first=False, dropout=0.0, bidirectional=False, proj_size=0, device=None, dtype=None)

将多层长短期记忆（LSTM）循环神经网络应用于输入序列。对于输入序列中的每个元素，每一层都计算以下函数：

$$\begin{array}{ll} \\ i_t = \sigma(W_{ii} x_t + b_{ii} + W_{hi} h_{t-1} + b_{hi}) \\ f_t = \sigma(W_{if} x_t + b_{if} + W_{hf} h_{t-1} + b_{hf}) \\ g_t = \tanh(W_{ig} x_t + b_{ig} + W_{hg} h_{t-1} + b_{hg}) \\ o_t = \sigma(W_{io} x_t + b_{io} + W_{ho} h_{t-1} + b_{ho}) \\ c_t = f_t \odot c_{t-1} + i_t \odot g_t \\ h_t = o_t \odot \tanh(c_t) \\ \end{array}$$

其中 $h_t$ 是时间 t 的隐藏状态， $c_t$ 是时间 t 的细胞状态， $x_t$ 是时间 t 的输入， $h_{t-1}$ 是时间 t-1 层的隐藏状态或时间 0 的初始隐藏状态， $i_t$ ， $f_t$ ， $g_t$ ， $o_t$ 分别是输入、遗忘、细胞和输出门， $\sigma$ 是 Sigmoid 函数， $\odot$ 是 Hadamard 积。

在多层 LSTM 中，第 1#层的输入 $x^{(l)}_t$ 是前一层隐藏状态 $h^{(l-1)}_t$ 乘以 dropout $\delta^{(l-1)}_t$ ，其中每个 $\delta^{(l-1)}_t$ 是一个伯努利随机变量，其概率为 $0$ 。

如果指定了 proj_size > 0 ，则将使用具有投影的 LSTM。这将以下方式更改 LSTM 单元。首先，将 $h_t$ 的维度从 hidden_size 更改为 proj_size （ $W_{hi}$ 的维度将相应更改）。其次，每一层的输出隐藏状态将乘以一个可学习的投影矩阵： $h_t = W_{hr}h_t$ 。请注意，因此，LSTM 网络的输出形状也将不同。请参阅以下输入/输出部分以获取所有变量的确切维度。更多详细信息请参阅 https://arxiv.org/abs/1402.1128。

参数:

• input_size – 输入 x 中期望的特征数量

• 隐藏层大小 – 隐藏状态 h 中的特征数量

• num_layers – 循环层的数量。例如，设置 num_layers=2 意味着将两个 LSTM 堆叠在一起形成堆叠 LSTM，第二个 LSTM 接收第一个 LSTM 的输出并计算最终结果。默认：1

• bias – 如果 False ，则该层不使用偏置权重 b_ih 和 b_hh。默认： True

• batch_first – 如果 True ，则输入和输出张量以（batch，seq，feature）的形式提供，而不是（seq，batch，feature）。注意，这不适用于隐藏或细胞状态。有关详细信息，请参阅下面的输入/输出部分。默认值： False

• dropout – 如果非零，将在每个 LSTM 层的输出（除了最后一层）上引入一个 Dropout 层，其 dropout 概率等于 dropout 。默认：0

• bidirectional – 如果 True ，则变为双向 LSTM。默认： False

• proj_size – 如果 > 0 ，将使用对应大小的投影 LSTM。默认：0

输入：input, (h_0, c_0)

• 输入：形状为 $(L, H_{in})$ 的张量，用于未批处理的输入，当 batch_first=False 时为 $(L, N, H_{in})$ ，当 batch_first=True 时为 $(N, L, H_{in})$ ，包含输入序列的特征。输入也可以是打包的可变长度序列。有关详细信息，请参阅 torch.nn.utils.rnn.pack_padded_sequence() 或 torch.nn.utils.rnn.pack_sequence() 。

• h_0：对于未批处理的输入，形状为 $(D * \text{num\_layers}, H_{out})$ ，或包含输入序列中每个元素的初始隐藏状态的 $(D * \text{num\_layers}, N, H_{out})$ 张量。如果未提供(h_0, c_0)，则默认为零。

• c_0：对于未批处理的输入，形状为 $(D * \text{num\_layers}, H_{cell})$ ，或包含输入序列中每个元素的初始细胞状态的 $(D * \text{num\_layers}, N, H_{cell})$ 张量。如果未提供(h_0, c_0)，则默认为零。

哪儿

$$\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{cell} ={} & \text{hidden\_size} \\ H_{out} ={} & \text{proj\_size if } \text{proj\_size}>0 \text{ otherwise hidden\_size} \\ \end{aligned}$$

输出：输出，(h_n, c_n)

• output：形状为 $(L, D * H_{out})$ 的张量，对于未批处理的输入， $(L, N, D * H_{out})$ 当 batch_first=False 或 $(N, L, D * H_{out})$ 时为 batch_first=True 包含来自 LSTM 最后一层的输出特征（h_t），对于每个 t。如果已给出 torch.nn.utils.rnn.PackedSequence 作为输入，输出也将是一个打包的序列。当 bidirectional=True 时，输出将包含序列中每个时间步的向前和反向隐藏状态的拼接。

• h_n：形状为 $(D * \text{num\_layers}, H_{out})$ 的张量，对于未批处理的输入或 $(D * \text{num\_layers}, N, H_{out})$ 包含序列中每个元素的最终隐藏状态。当 bidirectional=True 时，h_n 将包含最终向前和反向隐藏状态的拼接。

• c_n：形状为 $(D * \text{num\_layers}, H_{cell})$ 的张量，对于未批处理的输入或 $(D * \text{num\_layers}, N, H_{cell})$ 包含序列中每个元素的最终细胞状态。当 bidirectional=True 时，c_n 将包含最终向前和反向细胞状态的拼接。

变量:

• weight_ih_l[k] – 第 0#层的可学习输入隐藏权重（W_ii|W_if|W_ig|W_io），形状为（4*hidden_size, input_size），对于 k = 0。否则，形状为（4*hidden_size, num_directions * hidden_size）。如果指定了 proj_size > 0 ，则对于 k > 0，形状为（4*hidden_size, num_directions * proj_size）

• weight_hh_l[k] – 第 0#层的可学习隐藏隐藏权重（W_hi|W_hf|W_hg|W_ho），形状为（4*hidden_size, hidden_size）。如果指定了 proj_size > 0 ，则形状为（4*hidden_size, proj_size）

• bias_ih_l[k] – 第 0#层的可学习输入隐藏偏置（b_ii|b_if|b_ig|b_io），形状为（4*hidden_size）

• bias_hh_l[k] – 第 0#层的可学习隐藏隐藏偏置（b_hi|b_hf|b_hg|b_ho），形状为（4*hidden_size）

• weight_hr_l[k] – $\text{k}^{th}$ 层的可学习投影权重，形状为（proj_size，hidden_size）。仅在指定 proj_size > 0 时存在。

• weight_ih_l[k]_reverse – 与 weight_ih_l[k]在反向方向上的类似。仅在指定 bidirectional=True 时存在。

• weight_hh_l[k]_reverse – 与 weight_hh_l[k]在反向方向上的类似。仅在指定 bidirectional=True 时存在。

• bias_ih_l[k]_reverse – 与 bias_ih_l[k]在反向方向上的类似。仅在指定 bidirectional=True 时存在。

• bias_hh_l[k]_reverse – 与 bias_hh_l[k] 在反向方向上的类似。仅在 bidirectional=True 存在时出现。

• weight_hr_l[k]_reverse – 与 weight_hr_l[k] 在反向方向上的类似。仅在 bidirectional=True 和 proj_size > 0 被指定时出现。

注意

所有权重和偏差都从 $\mathcal{U}(-\sqrt{k}, \sqrt{k})$ 初始化，其中 $k = \frac{1}{\text{hidden\_size}}$

注意

对于双向 LSTM，正向和反向方向分别是 0 和 1。当 batch_first=False : output.view(seq_len, batch, num_directions, hidden_size) 时，输出层的分割示例。

注意

对于双向 LSTM，h_n 不等同于输出中的最后一个元素；前者包含最终的向前和反向隐藏状态，而后者包含最终的向前隐藏状态和初始的反向隐藏状态。

注意

batch_first 对于非批处理输入，参数被忽略。

注意

proj_size 应该小于 hidden_size 。

警告

对于某些版本的 cuDNN 和 CUDA，RNN 函数存在已知的非确定性问题。您可以通过设置以下环境变量来强制执行确定性行为：

在 CUDA 10.1 上，设置环境变量 CUDA_LAUNCH_BLOCKING=1 。这可能会影响性能。

在 CUDA 10.2 或更高版本上，设置环境变量（注意前面的冒号符号） CUBLAS_WORKSPACE_CONFIG=:16:8 或 CUBLAS_WORKSPACE_CONFIG=:4096:2 。

更多信息请参阅 cuDNN 8 版本发布说明。

注意

如果满足以下条件：1）cudnn 已启用，2）输入数据位于 GPU 上，3）输入数据的数据类型为 torch.float16 ，4）使用 V100 GPU，5）输入数据不是 PackedSequence 格式，可以选择持久算法以提高性能。

示例：

>>> rnn = nn.LSTM(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> c0 = torch.randn(2, 3, 20)
>>> output, (hn, cn) = rnn(input, (h0, c0))