SmoothL1Loss¶

class torch.nn.SmoothL1Loss(size_average=None, reduce=None, reduction='mean', beta=1.0)[source][source]¶

创建一个损失准则，当逐元素的绝对误差小于 beta 时使用平方项，否则使用 L1 项。与 torch.nn.MSELoss 相比，它对异常值不那么敏感，在某些情况下可以防止梯度爆炸（例如，参见 Ross Girshick 的论文 Fast R-CNN）。

对于大小为 $N$ 的批次，未降维的损失可以描述为

\ell(x, y) = L = \{l_1, ..., l_N\}^T

其中

l_n = \begin{cases} 0.5 (x_n - y_n)^2 / beta, & \text{if } |x_n - y_n| < beta \\ |x_n - y_n| - 0.5 * beta, & \text{otherwise } \end{cases}

如果 reduction 不是 none，则

\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

注意

Smooth L1 损失可以看作是精确的 L1Loss，但将 $|x - y| < beta$ 部分替换为一个二次函数，使得在 $|x - y| = beta$ 处的斜率为 1。二次曲线段平滑了 $|x - y| = 0$ 附近的 L1 损失。

注意

Smooth L1 损失与 HuberLoss 密切相关，等价于 $huber(x, y) / beta$ （注意 Smooth L1 的 beta 超参数在 Huber 损失中也称为 delta）。这导致了以下差异

当 beta -> 0 时，Smooth L1 损失收敛于 L1Loss，而 HuberLoss 收敛于常数 0 损失。当 beta 为 0 时，Smooth L1 损失等价于 L1 损失。
当 beta -> $+\infty$ 时，Smooth L1 损失收敛于常数 0 损失，而 HuberLoss 收敛于 MSELoss。
对于 Smooth L1 损失，当 beta 变化时，损失函数的 L1 部分斜率始终为 1。对于 HuberLoss，L1 部分的斜率为 beta。

参数

size_average (bool, optional) – 已弃用（参见 reduction）。默认情况下，损失按批次中每个损失元素进行平均。请注意，对于某些损失，每个样本有多个元素。如果字段 size_average 设置为 False，则损失将改为按每个 mini-batch 求和。当 reduce 为 False 时忽略此参数。默认值: True
reduce (bool, optional) – 已弃用（参见 reduction）。默认情况下，根据 size_average 对每个 mini-batch 的观测值进行平均或求和。当 reduce 为 False 时，改为返回每个批次元素的损失，并忽略 size_average。默认值: True
reduction (str, optional) – 指定应用于输出的降维方式: 'none' | 'mean' | 'sum'。'none': 不应用降维；'mean': 输出的总和将除以输出中的元素数量；'sum': 输出将求和。注意: size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个都将覆盖 reduction。默认值: 'mean'
beta (float, optional) – 指定在 L1 损失和 L2 损失之间切换的阈值。该值必须是非负的。默认值: 1.0

形状

文档