BCELoss

创建一个衡量目标与输入概率之间二元交叉熵的准则：class torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')[source][source] ¶

创建一个衡量目标与输入概率之间二元交叉熵的准则：

未归一化的（即 reduction 设置为 'none' ）损失可以描述为：

$$\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right],$$

其中 $N$ 是批大小。如果 reduction 不等于 'none' （默认 'mean' ），则

$$\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}$$

这用于测量重建误差，例如在自动编码器中。请注意，目标 $y$ 应该是介于 0 和 1 之间的数字。

注意，如果 $x_n$ 是 0 或 1，上述损失方程中的一个对数项在数学上将是未定义的。PyTorch 选择将 $\log (0) = -\infty$ 设置为，因为 $\lim_{x\to 0} \log (x) = -\infty$ 。然而，损失方程中的无穷项有多个原因是不希望的。

首先，如果存在 $y_n = 0$ 或 $(1 - y_n) = 0$ ，那么我们将 0 与无穷大相乘。其次，如果我们有一个无穷大的损失值，那么我们的梯度中也会有一个无穷大的项，因为 $\lim_{x\to 0} \frac{d}{dx} \log (x) = \infty$ 。这将使得 BCELoss 的反向方法相对于 $x_n$ 是非线性的，因此用它来进行线性回归等操作将不会直接。

我们的解决方案是 BCELoss 将其对数函数输出限制为大于或等于-100。这样，我们总能有一个有限的损失值和线性的反向方法。

参数:

• weight（张量，可选）- 给每个批次元素损失的一个手动缩放权重。如果提供，必须是一个大小为 nbatch 的张量。

• size_average（布尔值，可选）- 已弃用（见 reduction ）。默认情况下，损失会在批次的每个损失元素上平均。注意，对于某些损失，每个样本可能有多个元素。如果字段 size_average 设置为 False ，则损失将改为每个 minibatch 求和。当 reduce 为 False 时忽略。默认： True

• reduce (bool, optional) – 已废弃（见 reduction ）。默认情况下，损失会在每个小批量上平均或求和，具体取决于 size_average 。当 reduce 为 False 时，将返回每个批次的损失，并忽略 size_average 。默认： True

• reduction (str, optional) – 指定应用于输出的归约方式： 'none' | 'mean' | 'sum' 。 'none' ：不应用归约， 'mean' ：输出总和将除以输出元素的数量， 'sum' ：输出将被求和。注意： size_average 和 reduce 正在废弃，在此期间，指定这两个参数之一将覆盖 reduction 。默认： 'mean'

形状：

• 输入： $(*)$ ，其中 $*$ 表示任意数量的维度。

• 目标： $(*)$ ，与输入具有相同的形状。

• 输出：标量。如果 reduction 等于 'none' ，则 $(*)$ ，与输入形状相同。

示例：

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, 2, requires_grad=True)
>>> target = torch.rand(3, 2, requires_grad=False)
>>> output = loss(m(input), target)
>>> output.backward()