SmoothL1Loss ¬

class torch.nn.SmoothL1Loss(size_average=None, reduce=None, reduction='mean', beta=1.0)[来源][来源] ¬

创建一个使用平方项如果绝对元素级误差低于 beta，否则使用 L1 项的损失标准。它对异常值不如 torch.nn.MSELoss 敏感，在某些情况下可以防止梯度爆炸（例如，参见 Ross Girshick 的论文 Fast R-CNN）。

对于批次大小为 $N$ 的情况，未归一化的损失可以描述为：

\ell(x, y) = L = \{l_1, ..., l_N\}^T

替换为

l_n = \begin{cases} 0.5 (x_n - y_n)^2 / beta, & \text{if } |x_n - y_n| < beta \\ |x_n - y_n| - 0.5 * beta, & \text{otherwise } \end{cases}

如果归一化不是 none，则：

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

注意

平滑 L1 损失可以看作是恰好 L1Loss ，但将 $|x - y| < beta$ 部分替换为二次函数，使其在 $|x - y| = beta$ 处的斜率为 1。二次段平滑了 L1 损失在 $|x - y| = 0$ 附近的值。

注意

平滑 L1 损失与 HuberLoss 密切相关，相当于 $huber(x, y) / beta$ （注意，平滑 L1 的 beta 超参数也被称为 Huber 的 delta）。这导致了以下差异：

当 beta -> 0 时，平滑 L1 损失收敛到 L1Loss ，而 HuberLoss 收敛到一个常数的 0 损失。当 beta 为 0 时，平滑 L1 损失等同于 L1 损失。
当 beta -> $+\infty$ 时，平滑 L1 损失收敛到一个常数的 0 损失，而 HuberLoss 收敛到 MSELoss 。
对于 Smooth L1 损失，随着 beta 的变化，损失函数的 L1 部分具有恒定的斜率为 1。对于 HuberLoss ，L1 部分的斜率为 beta。

参数:

size_average（布尔值，可选）- 已弃用（参见 reduction ）。默认情况下，损失会在批次的每个损失元素上平均。注意，对于某些损失，每个样本可能有多个元素。如果字段 size_average 设置为 False ，则损失将改为对每个 minibatch 求和。当 reduce 为 False 时，将被忽略。默认： True
reduce（布尔值，可选）- 已弃用（参见 reduction ）。默认情况下，损失会在每个 minibatch 的观测上平均或求和，具体取决于 size_average 。当 reduce 为 False 时，将返回每个批次的损失，并忽略 size_average 。默认： True
reduction（字符串，可选）- 指定应用于输出的缩减方式： 'none' | 'mean' | 'sum' 。 'none' ：不应用缩减， 'mean' ：输出总和将除以输出中的元素数量， 'sum' ：输出将被求和。注意： size_average 和 reduce 正在被弃用，在此期间，指定这两个参数之一将覆盖 reduction 。默认： 'mean'
beta（浮点数，可选）- 指定在 L1 和 L2 损失之间切换的阈值。该值必须为非负。默认：1.0

形状：

文档