快捷方式

KLDivLoss

class torch.nn.KLDivLoss(size_average=None, reduce=None, reduction='mean', log_target=False)[源代码]

Kullback-Leibler 散度损失。

对于形状相同的张量 ypred, ytruey_{\text{pred}},\ y_{\text{true}}, 其中 ypredy_{\text{pred}}输入 并且 ytruey_{\text{true}}目标,我们将逐点 KL 散度定义为

L(ypred, ytrue)=ytruelogytrueypred=ytrue(logytruelogypred)L(y_{\text{pred}},\ y_{\text{true}}) = y_{\text{true}} \cdot \log \frac{y_{\text{true}}}{y_{\text{pred}}} = y_{\text{true}} \cdot (\log y_{\text{true}} - \log y_{\text{pred}})

为了避免在计算此值时出现下溢问题,此损失期望对数空间中的参数 input。如果 log_target= True,则参数 target 也可以在对数空间中提供。

总之,此函数大致等效于计算

if not log_target: # default
    loss_pointwise = target * (target.log() - input)
else:
    loss_pointwise = target.exp() * (target - input)

然后根据参数 reduction 缩减此结果,如

if reduction == "mean":  # default
    loss = loss_pointwise.mean()
elif reduction == "batchmean":  # mathematically correct
    loss = loss_pointwise.sum() / input.size(0)
elif reduction == "sum":
    loss = loss_pointwise.sum()
else:  # reduction == "none"
    loss = loss_pointwise

注意

与 PyTorch 中所有其他损失一样,此函数期望第一个参数 input 为模型(例如,神经网络)的输出,第二个参数 target 为数据集中 的观察值。这与标准数学符号 KL(P  Q)KL(P\ ||\ Q) 不同,其中 PP 表示观察值的分布,而 QQ 表示模型。

警告

reduction= “mean” 不会返回真实的 KL 散度值,请使用 reduction= “batchmean”,它与数学定义一致。

参数
  • size_average (bool, optional) – 已弃用(请参见 reduction)。默认情况下,损失在批次中的每个损失元素上取平均值。请注意,对于某些损失,每个样本有多个元素。如果字段 size_average 设置为 False,则损失会在每个小批次中相加。当 reduceFalse 时忽略。默认值:True

  • reduce (bool, optional) – 已弃用(请参见 reduction)。默认情况下,损失会在每个小批次中的观察值上取平均值或相加,具体取决于 size_average。当 reduceFalse 时,会返回每个批次元素的损失,并忽略 size_average。默认值:True

  • reduction (str, optional) – 指定要应用于输出的缩减。默认值:“mean”

  • log_target (bool, optional) – 指定 target 是否为对数空间。默认值:False

形状
  • 输入:()(*),其中 * 表示任意数量的维度。

  • 目标:()(*),与输入相同形状。

  • 输出:默认情况下为标量。如果 reduction‘none’,则为 ()(*),与输入相同形状。

示例:
>>> kl_loss = nn.KLDivLoss(reduction="batchmean")
>>> # input should be a distribution in the log space
>>> input = F.log_softmax(torch.randn(3, 5, requires_grad=True), dim=1)
>>> # Sample a batch of distributions. Usually this would come from the dataset
>>> target = F.softmax(torch.rand(3, 5), dim=1)
>>> output = kl_loss(input, target)
>>> kl_loss = nn.KLDivLoss(reduction="batchmean", log_target=True)
>>> log_target = F.log_softmax(torch.rand(3, 5), dim=1)
>>> output = kl_loss(input, log_target)

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源