torch.nn.functional.cross_entropy

torch.nn.functional.cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean', label_smoothing=0.0)

计算输入 logits 和目标之间的交叉熵损失。

有关详细信息，请参见CrossEntropyLoss。

参数

• input (Tensor) – 预测的未归一化 logits；有关支持的形状，请参见“形状”部分。

• target (Tensor) – 真实类别索引或类别概率；有关支持的形状，请参见“形状”部分。

• weight (Tensor, 可选) – 手动为每个类别指定的重新缩放权重。如果指定，则必须是大小为 C 的张量。

• size_average (bool, 可选) – 已弃用（请参见reduction）。默认情况下，损失在批次中每个损失元素上取平均值。请注意，对于某些损失，每个样本可能有多个元素。如果字段size_average设置为False，则损失将改为对每个小批量进行求和。如果 reduce 为False，则忽略。默认值：True

• ignore_index (int, 可选) – 指定要忽略的目标值，该值不会影响输入梯度。当size_average为True时，损失在非忽略目标上取平均值。请注意，ignore_index仅适用于目标包含类别索引的情况。默认值：-100

• reduce (bool, 可选) – 已弃用（请参见reduction）。默认情况下，损失在每个小批量的观察值上取平均值或求和，具体取决于size_average。当reduce为False时，将返回每个批次元素的损失，并忽略size_average。默认值：True

• reduction (str, 可选) – 指定要应用于输出的缩减：'none' | 'mean' | 'sum'。 'none'：不应用缩减，'mean'：输出的总和将除以输出中的元素数量，'sum'：输出将求和。注意：size_average和reduce正在被弃用，同时指定这两个参数将覆盖reduction。默认值：'mean'

• 标签平滑 (浮点数, 可选) – 一个介于 [0.0, 1.0] 之间的浮点数。指定计算损失时的平滑程度，其中 0.0 表示不平滑。目标将成为原始真实值和均匀分布的混合，如 重新思考用于计算机视觉的 Inception 架构 中所述。默认值：$0.0$.

返回类型

张量

形状

• 输入：形状 $(C)$, $(N, C)$ 或 $(N, C, d_1, d_2, ..., d_K)$ 其中 $K \geq 1$ 在 K 维损失的情况下。

• 目标：如果包含类别索引，则形状为 $()$, $(N)$ 或 $(N, d_1, d_2, ..., d_K)$ 其中 $K \geq 1$ 在 K 维损失的情况下，每个值应介于 $[0, C)$ 之间。如果包含类别概率，则与输入形状相同，每个值应介于 $[0, 1]$ 之间。

其中

$$\begin{aligned} C ={} & \text{类别数} \\ N ={} & \text{批次大小} \\ \end{aligned}$$

示例

>>> # Example of target with class indices
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randint(5, (3,), dtype=torch.int64)
>>> loss = F.cross_entropy(input, target)
>>> loss.backward()
>>>
>>> # Example of target with class probabilities
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randn(3, 5).softmax(dim=1)
>>> loss = F.cross_entropy(input, target)
>>> loss.backward()