torch.nn.functional.kl_div

torch.nn.functional.kl_div(input, target, size_average=None, reduce=None, reduction='mean', log_target=False)

计算 KL 散度损失。

参考文档 - Kullback-Leibler 散度损失

详细内容请见 KLDivLoss 。

参数:

• 输入（张量）- 形状任意的对数概率张量。

• 目标（张量）- 与输入形状相同的张量。参见 log_target 了解目标的解释。

• size_average（布尔值，可选）- 已弃用（参见 reduction ）。默认情况下，损失在批次的每个损失元素上平均。注意，对于某些损失，每个样本可能有多个元素。如果字段 size_average 设置为 False ，则损失将改为每个小批量求和。当 reduce 为 False 时忽略。默认值： True

• reduce（布尔值，可选）- 已弃用（参见 reduction ）。默认情况下，损失会在每个 minibatch 的观测上平均或求和，具体取决于 size_average 。当 reduce 为 False 时，将返回每个批次的损失，并忽略 size_average 。默认： True

• reduction（字符串，可选）- 指定应用于输出的归约方式： 'none' | 'batchmean' | 'sum' | 'mean' . 'none' : 不应用归约 'batchmean' : 输出的总和将除以批大小 'sum' : 输出将被求和 'mean' : 输出将被除以输出中的元素数量 默认： 'mean'

• log_target (bool) – 表示是否将 target 传递到对数空间。建议将某些分布（如 softmax ）传递到对数空间，以避免由显式 log 引起的数值问题。默认： False

返回类型:

张量

注意

size_average 和 reduce 正在弃用，在此期间，指定这两个参数中的任何一个都将覆盖 reduction 。

警告

reduction = 'mean' 不返回真正的 kl 散度值，请使用 reduction = 'batchmean' ，这与 KL 数学定义一致。