每个令牌 ¶

类 torch.ao.quantization.observer.PerToken[source][source] ¶

表示量化中的每个令牌粒度。

这种粒度类型为每个标记计算一组不同的量化参数，这表示为张量的最后一个维度。

例如，如果输入张量的形状为[2, 3, 4]，则存在 6 个标记，每个标记有 4 个元素，我们将计算 6 组量化参数，每个标记一组。

如果输入张量只有两个维度，例如[8, 16]，则这相当于 PerAxis(axis=0)，它会产生 8 组量化参数。