Transformer 编码器层 ¶

class torch.nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None)[source][source]¶

Transformer 编码器层由自注意力机制和前馈网络组成。

注意

请参阅此教程，深入了解 PyTorch 提供的性能构建块，用于构建自己的 transformer 层。

该标准编码层基于论文《Attention Is All You Need》。用户可以在应用过程中对其进行修改或以不同的方式进行实现。

TransformerEncoderLayer 可以处理传统的 torch.tensor 输入或嵌套张量输入。派生类应类似地接受这两种输入格式。（在嵌套张量处于原型状态时，TransformerEncoderLayer 目前并不支持所有输入组合。）

如果您正在实现自定义层，可以从 Module 或 TransformerEncoderLayer 类派生。如果您的自定义层支持 torch.Tensors 和嵌套张量输入，则将其实现派生为 TransformerEncoderLayer 的子类。如果您的自定义层只支持 torch.Tensor 输入，则从 Module 派生其实现。

参数:

d_model（整数）- 输入中预期的特征数量（必需）。
nhead（整数）- 多头注意力模型中的头数（必需）。
dim_feedforward（整数）- 前馈网络模型的维度（默认=2048）。
dropout（浮点数）- dropout 值（默认=0.1）。
activation（Union[str, Callable[[Tensor], Tensor]]）- 中间层的激活函数，可以是字符串（“relu”或“gelu”）或一元可调用对象。默认：relu
layer_norm_eps (浮点数) – 层归一化组件中的 eps 值（默认=1e-5）。
batch_first (布尔值) – 如果 True ，则输入和输出张量以（batch，seq，feature）的形式提供。默认： False （seq，batch，feature）。
norm_first (布尔值) – 如果 True ，则分别在注意力操作和前馈操作之前执行层归一化。否则在之后执行。默认： False （之后）。
bias (布尔值) – 如果设置为 False ，则 Linear 和 LayerNorm 层不会学习加性偏置。默认： True 。

示例::

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> src = torch.rand(10, 32, 512)
>>> out = encoder_layer(src)

或者，当 batch_first 是 True 时：

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8, batch_first=True)
>>> src = torch.rand(32, 10, 512)
>>> out = encoder_layer(src)

快速路径：

如果满足以下所有条件，forward() 将使用 FlashAttention：快速且内存高效的精确注意力机制（具有 IO 感知）的特别优化实现：

要么自动微分被禁用（使用 torch.inference_mode 或 torch.no_grad ），要么没有张量参数 requires_grad
训练被禁用（使用 .eval() ）
batch_first 是 True 并且输入是批处理的（即 src.dim() == 3 ）
激活可以是以下之一： "relu" ， "gelu" ， torch.functional.relu 或 torch.functional.gelu
至多只能传递 src_mask 和 src_key_padding_mask 中的一个
如果 src 是 NestedTensor，则不传递 src_mask 或 src_key_padding_mask
两个 LayerNorm 实例具有一致的 eps 值（除非调用者手动修改了一个而没有修改另一个，否则这将是自然的情况）

如果使用优化后的实现，可以使用 NestedTensor 来表示填充，比使用填充掩码更高效。在这种情况下，将返回 NestedTensor，并且可以期望额外的加速，其比例与输入中填充的部分成比例。

forward(src, src_mask=None, src_key_padding_mask=None, is_causal=False)[source][source]

Transformer 编码器层 ¶

文档

教程

资源