CausalVariant

class torch.nn.attention.bias.CausalVariant(value, names=<not given>, *values, module=None, qualname=None, type=None, start=1, boundary=None)

用于注意力机制的因果变体的枚举。

定义两种类型的因果偏差：

UPPER_LEFT: 代表标准因果注意力中的上三角偏差。构建此偏差的等效 PyTorch 代码为：

torch.tril(torch.ones(size, dtype=torch.bool))

例如，当 shape=(3,4)时，生成的偏置张量将是：

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]

LOWER_RIGHT：表示下三角偏置，包含的值对齐到矩阵的右下角。

构建此偏置的等效 pytorch 代码为：

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

例如，当 shape=(3,4)时，生成的偏置张量将是：

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]

注意，当查询和键/值张量的序列长度相等时，这些变体彼此等价，因为三角矩阵是正方形的。

警告

此枚举是原型，可能发生变化。

as_integer_ratio() 方法

返回一对整数，其比例等于原始整数。

比例已化为最简形式，且分母为正数。

>>> (10).as_integer_ratio()
(10, 1)
>>> (-10).as_integer_ratio()
(-10, 1)
>>> (0).as_integer_ratio()
(0, 1)

bit_count()

计算 self 绝对值的二进制表示中 1 的个数。

也称为基数计数。

>>> bin(13)
'0b1101'
>>> (13).bit_count()
3

bit_length() 方法

表示自身在二进制中所需的位数。

>>> bin(37)
'0b100101'
>>> (37).bit_length()
6

conjugate() 方法

返回自身，任何整数的复共轭。

分母 ¶

有理数最简形式中的分母

from_bytes(字节顺序='大端', *, 有符号=False) ¶

返回由给定字节数组表示的整数。

字节

包含要转换的字节数组。该参数必须支持缓冲区协议或是一个生成字节的可迭代对象。字节和 bytearray 是支持缓冲区协议的内置对象示例。

字节序

表示整数的字节序。如果字节序是‘big’，则最高有效字节位于字节数组的开头。如果字节序是‘little’，则最高有效字节位于字节数组的末尾。要请求主机系统的本地字节序，请使用`sys.byteorder`作为字节序值。默认使用‘big’。

签名

表示整数是否使用二进制补码。

图像 ¶

复数的虚部

is_integer() 方法

返回 True。存在以与 float.is_integer 保持鸭子类型兼容性。

分子

有理数在最低次项下的分子

真实 ¶

复数的实部

to_bytes(length=1, byteorder='big', *, signed=False)

返回表示整数的字节数组。

长度

使用字节数对象的长度的值。如果整数不能用给定的字节数表示，则引发 OverflowError。默认长度为 1。

字节序

表示整数的字节序。如果字节序为‘big’，则最高有效字节位于字节数组的开头。如果字节序为‘little’，则最高有效字节位于字节数组的末尾。要请求主机系统的本地字节序，请使用`sys.byteorder`作为字节序值。默认使用‘big’。

签名

判断是否使用二进制补码表示整数。如果 signed 为 False 且给出负整数，则引发 OverflowError 异常。