NLLLoss

class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')[source][source] ¶

负对数似然损失。它适用于训练具有 C 个类别的分类问题。

如果提供，可选参数 weight 应该是一个分配给每个类别的权重的 1D Tensor。这在训练集不平衡时尤其有用。

通过前向调用提供的输入应包含每个类的对数概率。输入必须是大小为 $(minibatch, C)$ 或 $(minibatch, C, d_1, d_2, ..., d_K)$ 的 Tensor，对于 K 维情况为 $K \geq 1$ 。后者对于高维输入很有用，例如计算 2D 图像的每个像素的 NLL 损失。

在神经网络中获得对数概率很容易，只需在网络的最后一层添加一个 LogSoftmax 层即可。如果您不想添加额外的层，也可以使用 CrossEntropyLoss。

此损失期望的目标应该是在范围 $[0, C-1]$ 内的类别索引，其中 C = 类别数量；如果指定了 ignore_index，此损失也接受此类别索引（此索引不一定在类别范围内）。

未归一化的（即 reduction 设置为 'none' ）损失可以描述为：

$$\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_{y_n} x_{n,y_n}, \quad w_{c} = \text{weight}[c] \cdot \mathbb{1}\{c \not= \text{ignore\_index}\},$$

$x$ 是输入， $y$ 是目标， $w$ 是权重， $N$ 是批量大小。如果 reduction 不等于 'none' （默认 'mean' ），则

$$\ell(x, y) = \begin{cases} \sum_{n=1}^N \frac{1}{\sum_{n=1}^N w_{y_n}} l_n, & \text{if reduction} = \text{`mean';}\\ \sum_{n=1}^N l_n, & \text{if reduction} = \text{`sum'.} \end{cases}$$

参数:

• 权重（Tensor，可选）- 每个类别分配的手动缩放权重。如果提供，它必须是一个大小为 C 的 Tensor。否则，它被视为所有元素均为 1 的 Tensor。

• size_average（布尔值，可选）- 已弃用（参见 reduction ）。默认情况下，损失会在批次的每个损失元素上平均。注意，对于某些损失，每个样本可能有多个元素。如果字段 size_average 设置为 False ，则损失将改为对每个 minibatch 求和。当 reduce 为 False 时，将被忽略。默认： None

• ignore_index（整型，可选）- 指定一个被忽略且不参与输入梯度的目标值。当 size_average 等于 True 时，损失会在非忽略的目标上平均。

• reduce（布尔值，可选）- 已弃用（参见 reduction ）。默认情况下，损失会在每个 minibatch 的观测上平均或求和，具体取决于 size_average 。当 reduce 为 False 时，将返回每个批次的损失，并忽略 size_average 。默认： None

• reduction（字符串，可选）- 指定应用于输出的缩减方式： 'none' | 'mean' | 'sum' 。 'none' ：不应用缩减， 'mean' ：取输出加权平均值， 'sum' ：输出将被求和。注意： size_average 和 reduce 正在被弃用，在此期间，指定这两个参数之一将覆盖 reduction 。默认： 'mean'

Shape::

• 输入： $(N, C)$ 或 $(C)$ ，其中 C = 类别数量，N = 批量大小，或者 $(N, C, d_1, d_2, ..., d_K)$ 与 $K \geq 1$ 在 K 维度损失的情况下。

• 目标： $(N)$ 或 $()$ ，其中每个值是 $0 \leq \text{targets}[i] \leq C-1$ ，或 $(N, d_1, d_2, ..., d_K)$ ，在 K 维度损失的情况下，带有 $K \geq 1$ 。

• 输出：如果 reduction 是 'none' ，形状为 $(N)$ 或 $(N, d_1, d_2, ..., d_K)$ ，在 K 维度损失的情况下，带有 $K \geq 1$ 。否则，为标量。

示例：

>>> log_softmax = nn.LogSoftmax(dim=1)
>>> loss_fn = nn.NLLLoss()
>>> # input to NLLLoss is of size N x C = 3 x 5
>>> input = torch.randn(3, 5, requires_grad=True)
>>> # each element in target must have 0 <= value < C
>>> target = torch.tensor([1, 0, 4])
>>> loss = loss_fn(log_softmax(input), target)
>>> loss.backward()
>>>
>>>
>>> # 2D loss example (used, for example, with image inputs)
>>> N, C = 5, 4
>>> loss_fn = nn.NLLLoss()
>>> data = torch.randn(N, 16, 10, 10)
>>> conv = nn.Conv2d(16, C, (3, 3))
>>> log_softmax = nn.LogSoftmax(dim=1)
>>> # output of conv forward is of shape [N, C, 8, 8]
>>> output = log_softmax(conv(data))
>>> # each element in target must have 0 <= value < C
>>> target = torch.empty(N, 8, 8, dtype=torch.long).random_(0, C)
>>> # input to NLLLoss is of size N x C x height (8) x width (8)
>>> loss = loss_fn(output, target)
>>> loss.backward()