交叉熵损失¶
- class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean', label_smoothing=0.0)[source]¶
此标准计算输入 logits 和目标之间的交叉熵损失。
在训练具有 C 个类别的分类问题时很有用。如果提供,可选参数
weight
应该是一个 1D Tensor,为每个类别分配权重。当训练集不平衡时,这尤其有用。预期 input 包含每个类别的未归一化 logits(通常不需要为正或总和为 1)。input 必须是大小为 的张量,用于未批处理的输入, 或 ,其中 用于 K 维情况。最后一个对于更高维度的输入很有用,例如计算 2D 图像的每个像素的交叉熵损失。
此标准期望的 target 应包含:
类索引在范围 内,其中 是类的数量;如果指定了 ignore_index,则此损失也接受此类索引(此索引不一定在类范围内)。在这种情况下,未经归约(即
reduction
设置为'none'
)的损失可以描述为其中 是输入, 是目标, 是权重, 是类别数,而 跨越了小批量维度以及 用于 K 维情况。如果
reduction
不是'none'
(默认值'mean'
),则请注意,此情况等效于对输入应用
LogSoftmax
,然后应用NLLLoss
。每个类别的概率;当需要每个小批量项目超出单个类别的标签时很有用,例如混合标签、标签平滑等。此情况的未归约(即
reduction
设置为'none'
)损失可以描述为其中 是输入, 是目标, 是权重, 是类别数,而 跨越了小批量维度以及 用于 K 维情况。如果
reduction
不是'none'
(默认值'mean'
),则
注意
当 target 包含类别索引时,此标准的性能通常更好,因为这允许优化计算。仅当每个小批量项目的单个类别标签过于严格时,才考虑提供 target 作为类别概率。
- 参数
weight (张量, 可选) – 给每个类别赋予的手动重新缩放权重。如果给出,则必须是大小为 C 且浮点类型的张量。
size_average (布尔值, 可选) – 已弃用(请参阅
reduction
)。默认情况下,损失在批次中的每个损失元素上取平均值。请注意,对于某些损失,每个样本有多个元素。如果字段size_average
设置为False
,则损失将针对每个小批量求和。当reduce
为False
时忽略。默认值:True
ignore_index (整数, 可选) – 指定一个被忽略的目标值,并且不会对输入梯度做出贡献。当
size_average
为True
时,损失在非忽略目标上取平均值。请注意,ignore_index
仅在目标包含类别索引时适用。reduce (布尔值, 可选) – 已弃用(请参阅
reduction
)。默认情况下,损失根据size_average
在每个小批次的观测值上取平均值或求和。当reduce
为False
时,返回每个批次元素的损失,并忽略size_average
。默认值:True
reduction (字符串, 可选) – 指定要应用于输出的约简:
'none'
|'mean'
|'sum'
。'none'
:不应用任何约简,'mean'
:取输出的加权平均值,'sum'
:输出将求和。注意:size_average
和reduce
正在被弃用,同时,指定这两个参数中的任何一个都将覆盖reduction
。默认值:'mean'
label_smoothing (浮点数, 可选) – [0.0, 1.0] 中的浮点数。指定计算损失时的平滑量,其中 0.0 表示不平滑。目标成为原始基本事实和均匀分布的混合,如 计算机视觉的 Inception 架构重思考 中所述。默认值:.
- 形状
输入:形状 , 或 ,其中在K维损失的情况下,。
目标:如果包含类别索引,形状 , 或 ,其中在K维损失的情况下,,每个值应在之间。如果包含类别概率,则与输入形状相同,每个值应在之间。
输出:如果reduction为‘none’,形状 , 或 ,其中在K维损失的情况下,,取决于输入的形状。否则,标量。
其中
示例
>>> # Example of target with class indices >>> loss = nn.CrossEntropyLoss() >>> input = torch.randn(3, 5, requires_grad=True) >>> target = torch.empty(3, dtype=torch.long).random_(5) >>> output = loss(input, target) >>> output.backward() >>> >>> # Example of target with class probabilities >>> input = torch.randn(3, 5, requires_grad=True) >>> target = torch.randn(3, 5).softmax(dim=1) >>> output = loss(input, target) >>> output.backward()