BCELoss

class torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')

创建一个衡量目标和输入概率之间的二元交叉熵（Binary Cross Entropy）的准则。

未降维（即 reduction 设置为 'none'）的损失可以描述为

$$\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right],$$

其中 $N$ 是批处理大小。如果 reduction 不是 'none'（默认值为 'mean'），则

$$\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}$$

这用于衡量例如自编码器中的重构误差。请注意，目标 $y$ 的值应介于 0 和 1 之间。

请注意，如果 $x_n$ 的值为 0 或 1，则上述损失公式中的对数项之一在数学上是未定义的。PyTorch 选择将 $\log (0)$ 设置为 $-\infty$，因为 $\lim_{x\to 0} \log (x) = -\infty$。然而，损失公式中的无限项有几个不希望出现的原因。

首先，如果 $y_n = 0$ 或 $(1 - y_n) = 0$，我们将得到 0 乘以无穷大。其次，如果损失值为无限大，那么我们的梯度中也会有一个无限项，因为 $\lim_{x\to 0} \frac{d}{dx} \log (x) = \infty$。这将导致 BCELoss 的 backward 方法相对于 $x_n$ 变成非线性，并且将其用于诸如线性回归之类的任务将不那么直接。

我们的解决方案是 BCELoss 将其对数函数的输出钳位到大于等于 -100。这样，我们总能得到有限的损失值和线性的 backward 方法。

参数

• weight (Tensor, optional) – 手动调整每个批处理元素损失权重的参数。如果给定，必须是一个大小为 nbatch 的 Tensor。

• size_average (bool, optional) – 已弃用（请参阅 reduction）。默认情况下，损失在批处理中的每个损失元素上进行平均。请注意，对于某些损失，每个样本有多个元素。如果字段 size_average 设置为 False，则损失将改为对每个 minibatch 进行求和。当 reduce 为 False 时忽略此参数。默认值：True

• reduce (bool, optional) – 已弃用（请参阅 reduction）。默认情况下，损失会根据 size_average 对每个 minibatch 的观察值进行平均或求和。当 reduce 为 False 时，将返回每个批处理元素的损失，并忽略 size_average。默认值：True

• reduction (str, optional) – 指定应用于输出的归约方式：'none' | 'mean' | 'sum'。'none': 不应用归约；'mean': 输出的总和将除以输出中的元素数量；'sum': 输出将被求和。注意：size_average 和 reduce 正在被弃用，在此期间，指定这两个参数中的任何一个都将覆盖 reduction。默认值: 'mean'

形状

• 输入: $(*)$，其中 $*$ 表示任意维数。

• 目标: $(*)$，与输入形状相同。

• 输出: 标量。如果 reduction 是 'none'，则为 $(*)$，与输入形状相同。

示例

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, 2, requires_grad=True)
>>> target = torch.rand(3, 2, requires_grad=False)
>>> output = loss(m(input), target)
>>> output.backward()