TransformerDecoderLayer†

class torch.nn.TransformerDecoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None)[source][source]†

TransformerDecoderLayer 由自注意力、多头注意力和前馈网络组成。

注意

请参阅此教程，深入了解 PyTorch 提供的性能构建块，用于构建自己的 transformer 层。

此标准解码器层基于论文《Attention Is All You Need》。用户可以在应用过程中对其进行修改或以不同的方式进行实现。

参数:

• d_model（整数）- 输入中期望的特征数量（必需）。

• nhead（整数）- 多头注意力模型中的头数（必需）。

• dim_feedforward（整数）- 前馈网络模型的维度（默认=2048）。

• dropout (浮点数) – dropout 值（默认=0.1）。

• activation (Union[str, Callable[[Tensor], Tensor]]) – 中间层的激活函数，可以是字符串（“relu”或“gelu”）或一元可调用函数。默认：relu

• layer_norm_eps (浮点数) – 层归一化组件中的 eps 值（默认=1e-5）。

• batch_first (布尔值) – 如果 True ，则输入和输出张量提供为（batch，seq，feature）。默认： False （seq，batch，feature）。

• norm_first (bool) – 如果 True ，则分别在 False 、@2# 和 @3# 层执行层归一化、多头注意力和前馈操作。否则，在之后执行。默认：False （之后）。

• bias (bool) – 如果设置为 False ，则 Linear 和 LayerNorm 层不会学习加性偏置。默认： True 。

示例::

>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> memory = torch.rand(10, 32, 512)
>>> tgt = torch.rand(20, 32, 512)
>>> out = decoder_layer(tgt, memory)

或者，当 batch_first 为 True 时：

>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8, batch_first=True)
>>> memory = torch.rand(32, 10, 512)
>>> tgt = torch.rand(32, 20, 512)
>>> out = decoder_layer(tgt, memory)

forward(tgt, memory, tgt_mask=None, memory_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, tgt_is_causal=False, memory_is_causal=False)

将输入（和掩码）通过解码器层。

参数:

• tgt（张量）- 传递给解码器层的序列（必需）。

• memory（张量）- 来自编码器最后一层的序列（必需）。

• tgt_mask（可选[Tensor]）- tgt 序列的掩码（可选）。

• memory_mask（可选[Tensor]）- 内存序列的掩码（可选）。

• tgt_key_padding_mask（可选[Tensor]）- 每批次的 tgt 键掩码（可选）。

• memory_key_padding_mask（可选[Tensor]）- 每批次的内存键掩码（可选）。

• tgt_is_causal（布尔值）- 如果指定，则应用因果掩码 tgt mask 。默认： False 。警告： tgt_is_causal 提供提示， tgt_mask 是因果掩码。提供错误的提示可能导致执行错误，包括前向和反向兼容性。

• memory_is_causal (bool) – 如果指定，则应用因果掩码作为 memory mask 。默认： False 。警告： memory_is_causal 提供了 memory_mask 是因果掩码的提示。提供错误的提示可能导致执行错误，包括向前和向后兼容性。

返回类型:

张量

形状：

查看文档在 Transformer 。