快捷方式

BCELoss

class torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')[源代码]

创建一个标准,用于测量目标和输入概率之间的二元交叉熵

未归约(即 reduction 设置为 'none')损失可以描述为

(x,y)=L={l1,,lN},ln=wn[ynlogxn+(1yn)log(1xn)],\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right],

其中 NN 是批次大小。 如果 reduction 不是 'none'(默认值 'mean'),则

(x,y)={mean(L),if reduction=‘mean’;sum(L),if reduction=‘sum’.\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}

这用于测量例如自动编码器中重建的误差。 请注意,目标 yy 应该是 0 到 1 之间的数字。

注意,如果 xnx_n 为 0 或 1,则上述损失方程中的一个对数项在数学上将是未定义的。PyTorch 选择将 log(0)=\log (0) = -\infty 设置为,因为 limx0log(x)=\lim_{x\to 0} \log (x) = -\infty。但是,损失方程中的无限项在多种情况下不可取。

一方面,如果 yn=0y_n = 0(1yn)=0(1 - y_n) = 0,那么我们将用 0 乘以无穷大。其次,如果我们有无限的损失值,那么我们的梯度中也会有一个无限项,因为 limx0ddxlog(x)=\lim_{x\to 0} \frac{d}{dx} \log (x) = \infty。这将使 BCELoss 的反向方法相对于 xnx_n 成为非线性的,并且将其用于线性回归等操作将变得不直接。

我们的解决方案是 BCELoss 将其对数函数输出钳位到大于或等于 -100。这样,我们就可以始终获得有限的损失值和线性反向方法。

参数
  • weight (Tensor, optional) – 给定到每个批次元素的损失的手动重新缩放权重。如果给定,则必须是大小为 nbatch 的张量。

  • size_average (bool, optional) – 已弃用(参见 reduction)。默认情况下,损失在批次中的每个损失元素上取平均值。注意,对于某些损失,每个样本有多个元素。如果字段 size_average 设置为 False,则损失将改为对每个小批次求和。在 reduceFalse 时忽略。默认:True

  • reduce (bool, optional) – 已弃用(参见 reduction)。默认情况下,损失根据 size_average 在每个小批次的观察结果上取平均值或求和。当 reduceFalse 时,返回每个批次元素的损失,并忽略 size_average。默认:True

  • reduction (str, optional) – 指定要应用于输出的缩减:'none' | 'mean' | 'sum''none':不应用任何缩减,'mean':输出的总和将除以输出中的元素数量,'sum':输出将被求和。注意:size_averagereduce 正在被弃用,同时指定这两个参数将覆盖 reduction。默认:'mean'

形状
  • 输入:()(*),其中 * 表示任意数量的维度。

  • 目标:()(*),与输入相同的形状。

  • 输出:标量。如果 reduction'none',则 ()(*),与输入相同的形状。

示例

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, 2, requires_grad=True)
>>> target = torch.rand(3, 2, requires_grad=False)
>>> output = loss(m(input), target)
>>> output.backward()

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源