torch.nn.attention.bias.causal_upper_left¶
- torch.nn.attention.bias.causal_upper_left(*size)[source][source]¶
创建一个上三角因果偏置。
此函数生成一个上三角矩阵来表示因果注意力偏置，并设置对角线偏移，使得包含的值与矩阵的左上角对齐。这相当于 scaled_dot_product_attention 中的 is_causal=True 参数。
构建此偏差的等效 pytorch 代码如下：
torch.tril(torch.ones(size, dtype=torch.bool))
例如，对于 shape=(3,4)，实际化的偏差张量将是：
[[1, 0, 0, 0], [1, 1, 0, 0], [1, 1, 1, 0]]
- 参数:
大小 - 偏差矩阵的大小。
- 返回值:
上三角因果偏差变体。
- 返回类型:
