SDP 后端 ¶

类 torch.nn.attention.SDP 后端 ¶

一个类似于枚举的类，包含不同后端用于缩放点积注意力。此后端类旨在与 sdpa_kernel 上下文管理器一起使用。

可用的枚举如下：

• 错误：尝试确定后端时发生错误。

• MATH：用于缩放点积注意力的数学后端。

• FLASH_ATTENTION：用于缩放点积注意力的闪速注意力后端。

• 高效注意力后端：用于缩放点积注意力的高效注意力后端。

• CUDNN 注意力后端：用于缩放点积注意力的 cuDNN 后端。

更多详情请见 torch.nn.attention.sdpa_kernel() 。

警告

该类处于测试阶段，可能会发生变化。

属性名称¶