torch.nn.functional.kl_div

torch.nn.functional.kl_div(input, target, size_average=None, reduce=None, reduction='mean', log_target=False)

计算 KL 散度损失。

参考 - Kullback-Leibler 散度损失

详情请参阅 KLDivLoss。

参数

• input (Tensor) – 形状任意的对数概率张量。

• target (Tensor) – 形状与 input 相同的张量。关于 target 的解释，请参阅 log_target。

• size_average (bool, 可选) – 已弃用（请参阅 reduction）。默认情况下，损失会在 batch 中的每个损失元素上平均。请注意，对于某些损失，每个样本有多个元素。如果将 size_average 字段设置为 False，则改为对每个 mini-batch 的损失求和。当 reduce 为 False 时，忽略此参数。默认值：True

• reduce (bool, 可选) – 已弃用（请参阅 reduction）。默认情况下，根据 size_average 对每个 mini-batch 的观测值进行平均或求和。当 reduce 为 False 时，返回每个 batch 元素的损失，并忽略 size_average。默认值：True

• reduction (str, 可选) – 指定应用于输出的归约方式：'none' | 'batchmean' | 'sum' | 'mean'。'none'：不应用归约。'batchmean'：输出的总和将除以 batch 大小。'sum'：对输出求和。'mean'：输出将除以输出中的元素数量。默认值：'mean'

• log_target (bool) – 一个标志，指示 target 是否以对数空间传入。建议在对数空间中传入某些分布（如 softmax），以避免显式 log 引起的数值问题。默认值：False

返回类型

Tensor

注意

size_average 和 reduce 正在弃用中，在此期间，指定这两个参数中的任何一个将覆盖 reduction。

警告

reduction = 'mean' 不会返回真正的 KL 散度值，请使用 reduction = 'batchmean'，它与 KL 数学定义一致。