快捷方式

交叉熵损失

class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean', label_smoothing=0.0)[source]

此标准计算输入 logits 和目标之间的交叉熵损失。

在训练具有 C 个类别的分类问题时很有用。如果提供,可选参数 weight 应该是一个 1D Tensor,为每个类别分配权重。当训练集不平衡时,这尤其有用。

预期 input 包含每个类别的未归一化 logits(通常不需要为正或总和为 1)。input 必须是大小为 (C)(C) 的张量,用于未批处理的输入,(minibatch,C)(minibatch, C)(minibatch,C,d1,d2,...,dK)(minibatch, C, d_1, d_2, ..., d_K),其中 K1K \geq 1 用于 K 维情况。最后一个对于更高维度的输入很有用,例如计算 2D 图像的每个像素的交叉熵损失。

此标准期望的 target 应包含:

  • 类索引在范围 [0,C)[0, C) 内,其中 CC 是类的数量;如果指定了 ignore_index,则此损失也接受此类索引(此索引不一定在类范围内)。在这种情况下,未经归约(即 reduction 设置为 'none')的损失可以描述为

    (x,y)=L={l1,,lN},ln=wynlogexp(xn,yn)c=1Cexp(xn,c)1{ynignore_index}\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_{y_n} \log \frac{\exp(x_{n,y_n})}{\sum_{c=1}^C \exp(x_{n,c})} \cdot \mathbb{1}\{y_n \not= \text{ignore\_index}\}

    其中 xx 是输入,yy 是目标,ww 是权重,CC 是类别数,而 NN 跨越了小批量维度以及 d1,...,dkd_1, ..., d_k 用于 K 维情况。如果 reduction 不是 'none'(默认值 'mean'),则

    (x,y)={n=1N1n=1Nwyn1{ynignore_index}ln,if reduction=‘mean’;n=1Nln,if reduction=‘sum’.\ell(x, y) = \begin{cases} \sum_{n=1}^N \frac{1}{\sum_{n=1}^N w_{y_n} \cdot \mathbb{1}\{y_n \not= \text{ignore\_index}\}} l_n, & \text{if reduction} = \text{`mean';}\\ \sum_{n=1}^N l_n, & \text{if reduction} = \text{`sum'.} \end{cases}

    请注意,此情况等效于对输入应用 LogSoftmax,然后应用 NLLLoss

  • 每个类别的概率;当需要每个小批量项目超出单个类别的标签时很有用,例如混合标签、标签平滑等。此情况的未归约(即 reduction 设置为 'none')损失可以描述为

    (x,y)=L={l1,,lN},ln=c=1Cwclogexp(xn,c)i=1Cexp(xn,i)yn,c\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - \sum_{c=1}^C w_c \log \frac{\exp(x_{n,c})}{\sum_{i=1}^C \exp(x_{n,i})} y_{n,c}

    其中 xx 是输入,yy 是目标,ww 是权重,CC 是类别数,而 NN 跨越了小批量维度以及 d1,...,dkd_1, ..., d_k 用于 K 维情况。如果 reduction 不是 'none'(默认值 'mean'),则

    (x,y)={n=1NlnN,如果 reduction=‘mean’;n=1Nln,如果 reduction=‘sum’.\ell(x, y) = \begin{cases} \frac{\sum_{n=1}^N l_n}{N}, & \text{如果 reduction} = \text{`mean';}\\ \sum_{n=1}^N l_n, & \text{如果 reduction} = \text{`sum'.} \end{cases}

注意

target 包含类别索引时,此标准的性能通常更好,因为这允许优化计算。仅当每个小批量项目的单个类别标签过于严格时,才考虑提供 target 作为类别概率。

参数
  • weight (张量, 可选) – 给每个类别赋予的手动重新缩放权重。如果给出,则必须是大小为 C 且浮点类型的张量。

  • size_average (布尔值, 可选) – 已弃用(请参阅 reduction)。默认情况下,损失在批次中的每个损失元素上取平均值。请注意,对于某些损失,每个样本有多个元素。如果字段 size_average 设置为 False,则损失将针对每个小批量求和。当 reduceFalse 时忽略。默认值: True

  • ignore_index (整数, 可选) – 指定一个被忽略的目标值,并且不会对输入梯度做出贡献。当 size_averageTrue 时,损失在非忽略目标上取平均值。请注意,ignore_index 仅在目标包含类别索引时适用。

  • reduce (布尔值, 可选) – 已弃用(请参阅 reduction)。默认情况下,损失根据 size_average 在每个小批次的观测值上取平均值或求和。当 reduceFalse 时,返回每个批次元素的损失,并忽略 size_average。默认值: True

  • reduction (字符串, 可选) – 指定要应用于输出的约简: 'none' | 'mean' | 'sum''none':不应用任何约简, 'mean':取输出的加权平均值, 'sum':输出将求和。注意:size_averagereduce 正在被弃用,同时,指定这两个参数中的任何一个都将覆盖 reduction。默认值: 'mean'

  • label_smoothing (浮点数, 可选) – [0.0, 1.0] 中的浮点数。指定计算损失时的平滑量,其中 0.0 表示不平滑。目标成为原始基本事实和均匀分布的混合,如 计算机视觉的 Inception 架构重思考 中所述。默认值:0.00.0.

形状
  • 输入:形状 (C)(C)(N,C)(N, C)(N,C,d1,d2,...,dK)(N, C, d_1, d_2, ..., d_K),其中在K维损失的情况下,K1K \geq 1

  • 目标:如果包含类别索引,形状 ()()(N)(N)(N,d1,d2,...,dK)(N, d_1, d_2, ..., d_K),其中在K维损失的情况下,K1K \geq 1,每个值应在[0,C)[0, C)之间。如果包含类别概率,则与输入形状相同,每个值应在[0,1][0, 1]之间。

  • 输出:如果reduction为‘none’,形状 ()()(N)(N)(N,d1,d2,...,dK)(N, d_1, d_2, ..., d_K),其中在K维损失的情况下,K1K \geq 1,取决于输入的形状。否则,标量。

其中

C=类别数N=批次大小\begin{aligned} C ={} & \text{类别数} \\ N ={} & \text{批次大小} \\ \end{aligned}

示例

>>> # Example of target with class indices
>>> loss = nn.CrossEntropyLoss()
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.empty(3, dtype=torch.long).random_(5)
>>> output = loss(input, target)
>>> output.backward()
>>>
>>> # Example of target with class probabilities
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randn(3, 5).softmax(dim=1)
>>> output = loss(input, target)
>>> output.backward()

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发人员的深度教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源