torch.nn.functional.kl_div¶
- torch.nn.functional.kl_div(input, target, size_average=None, reduce=None, reduction='mean', log_target=False)[源代码]¶
计算 KL 散度损失。
有关详细信息,请参见
KLDivLoss
。- 参数
input (张量) – 对数概率中任意形状的张量。
target (张量) – 与输入具有相同形状的张量。有关目标的解释,请参见
log_target
。size_average (布尔值,可选) – 已弃用(请参见
reduction
)。默认情况下,损失在批次中每个损失元素上取平均值。请注意,对于某些损失,每个样本有多个元素。如果字段size_average
设置为False
,则损失将针对每个小批次进行求和。在 reduce 为False
时忽略。默认值:True
reduce (布尔值,可选) – 已弃用(请参见
reduction
)。默认情况下,损失在每个小批次中针对观测结果取平均值或求和,具体取决于size_average
。当reduce
为False
时,返回每个批次元素的损失,并忽略size_average
。默认值:True
reduction (字符串,可选) – 指定要应用于输出的缩减:
'none'
|'batchmean'
|'sum'
|'mean'
。'none'
:不应用任何缩减'batchmean'
:输出的总和将除以批次大小'sum'
:输出将求和'mean'
:输出将除以输出中的元素数量 默认值:'mean'
log_target (布尔值) – 一个标志,指示是否在对数空间中传递
target
。建议在对数空间中传递某些分布(例如softmax
),以避免由于显式log
导致的数值问题。默认值:False
- 返回类型
注意
size_average
和reduce
正在被弃用,同时,指定这两个参数中的任何一个都会覆盖reduction
。警告
reduction
='mean'
不会返回真正的 kl 散度值,请使用reduction
='batchmean'
,它与 KL 数学定义一致。