BCEWithLogitsLoss

class torch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None)

此损失在一个类中组合了 Sigmoid 层和 BCELoss。与使用普通的 Sigmoid 后跟 BCELoss 相比，此版本在数值上更稳定，因为通过将操作组合到一个层中，我们利用了对数-求和-指数技巧来实现数值稳定性。

未归约（即 reduction 设置为 'none'）的损失可以描述为

$$\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log \sigma(x_n) + (1 - y_n) \cdot \log (1 - \sigma(x_n)) \right],$$

其中 $N$ 是批次大小。如果 reduction 不是 'none'（默认值为 'mean'），则

$$\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{如果 reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{如果 reduction} = \text{`sum'.} \end{cases}$$

这用于测量例如自动编码器中重建的误差。请注意，目标 t[i] 应为 0 到 1 之间的数字。

可以通过为正样本添加权重来权衡召回率和精确率。在多标签分类的情况下，损失可以描述为

$$\ell_c(x, y) = L_c = \{l_{1,c},\dots,l_{N,c}\}^\top, \quad l_{n,c} = - w_{n,c} \left[ p_c y_{n,c} \cdot \log \sigma(x_{n,c}) + (1 - y_{n,c}) \cdot \log (1 - \sigma(x_{n,c})) \right],$$

其中 $c$ 表示类别编号（对于多标签二分类，$c > 1$；对于单标签二分类，$c = 1$)，$n$ 表示批次中样本的编号，$p_c$ 表示类别 $c$ 正样本的权重。

当 $p_c > 1$ 时，可以提升召回率；当 $p_c < 1$ 时，可以提升精确率。

例如，如果一个数据集包含 100 个正样本和 300 个负样本，都属于同一个类别，那么该类别的 pos_weight 应该等于 $\frac{300}{100}=3$。损失函数将表现得好像数据集包含 $3\times 100=300$ 个正样本。

示例

>>> target = torch.ones([10, 64], dtype=torch.float32)  # 64 classes, batch size = 10
>>> output = torch.full([10, 64], 1.5)  # A prediction (logit)
>>> pos_weight = torch.ones([64])  # All weights are equal to 1
>>> criterion = torch.nn.BCEWithLogitsLoss(pos_weight=pos_weight)
>>> criterion(output, target)  # -log(sigmoid(1.5))
tensor(0.20...)

在上面的示例中，pos_weight 张量的元素对应于多标签二分类场景中的 64 个不同类别。 pos_weight 中的每个元素都旨在根据每个类别的负样本和正样本之间的不平衡来调整损失函数。这种方法在类别不平衡程度不同的数据集中很有用，可以确保损失计算准确地反映每个类别的分布。

参数

• weight (Tensor, optional) – 给每个批次元素的损失赋予的手动重新缩放权重。如果给出，则必须是大小为 nbatch 的张量。

• size_average (bool, optional) – 已弃用（参见 reduction）。默认情况下，损失在批次中的每个损失元素上取平均值。请注意，对于某些损失，每个样本有多个元素。如果字段 size_average 设置为 False，则每个小批次的损失将被求和。当 reduce 为 False 时忽略。默认值：True

• reduce (bool, optional) – 已弃用（参见 reduction）。默认情况下，根据 size_average，损失在每个小批次的观测值上取平均值或求和。当 reduce 为 False 时，返回每个批次元素的损失，并忽略 size_average。默认值：True

• reduction (str, optional) – 指定要应用于输出的归约操作：'none' | 'mean' | 'sum'。 'none'：不应用任何归约操作，'mean'：输出的总和将除以输出中的元素数量，'sum'：输出将求和。注意：size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个都将覆盖 reduction。默认值：'mean'

• pos_weight (Tensor, optional) – 与目标广播的正样本的权重。必须是一个张量，其沿类别维度的尺寸与类别数相同。请密切注意 PyTorch 的广播语义，以实现所需的运算。对于大小为 [B, C, H, W] 的目标（其中 B 是批次大小），大小为 [B, C, H, W] 的 pos_weight 将对批次中的每个元素应用不同的 pos_weight，或者 [C, H, W] 在整个批次中应用相同的 pos_weight。为了对 2D 多类别目标 [C, H, W] 的所有空间维度应用相同的正权重，请使用： [C, 1, 1]。默认值：None

形状

• 输入：$(*)$，其中 $*$ 表示任意数量的维度。

• 目标：$(*)$，与输入形状相同。

• 输出：标量。如果 reduction 为 'none'，则 $(*)$，与输入形状相同。

示例

>>> loss = nn.BCEWithLogitsLoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(input, target)
>>> output.backward()