GaussianNLLLoss

class torch.nn.GaussianNLLLoss(*, full=False, eps=1e-06, reduction='mean')

高斯负对数似然损失。

目标被视为来自高斯分布的样本，其期望值和方差由神经网络预测。对于一个 target 张量，建模为具有高斯分布，其期望张量为 input，正方差张量为 var，损失为

$$\text{loss} = \frac{1}{2}\left(\log\left(\text{max}\left(\text{var}, \ \text{eps}\right)\right) + \frac{\left(\text{input} - \text{target}\right)^2} {\text{max}\left(\text{var}, \ \text{eps}\right)}\right) + \text{const.}$$

其中 eps 用于稳定性。默认情况下，损失函数的常数项被省略，除非 full 为 True。如果 var 的大小与 input 不同（由于同方差假设），则它必须具有最后一个维度为 1 或少一个维度（所有其他大小相同），以便正确广播。

参数

• full (bool, 可选) – 在损失计算中包含常数项。默认值：False。

• eps (float, 可选) – 用于钳制 var 的值（见下文注释），以提高稳定性。默认值：1e-6。

• reduction (str, 可选) – 指定应用于输出的缩减方式：'none' | 'mean' | 'sum'。'none'：不应用缩减，'mean'：输出是所有批次成员损失的平均值，'sum'：输出是所有批次成员损失的总和。默认值：'mean'。

形状

• 输入：$(N, *)$ 或 $(*)$ 其中 $*$ 表示任意数量的附加维度

• 目标：$(N, *)$ 或 $(*)$，与输入形状相同，或与输入形状相同但其中一个维度等于 1（以允许广播）

• Var：$(N, *)$ 或 $(*)$，与输入形状相同，或与输入形状相同但其中一个维度等于 1，或与输入形状相同但少一个维度（以允许广播），或标量值

• 输出：如果 reduction 为 'mean'（默认）或 'sum'，则为标量。如果 reduction 为 'none'，则为 $(N, *)$，与输入形状相同

示例：

>>> loss = nn.GaussianNLLLoss()
>>> input = torch.randn(5, 2, requires_grad=True)
>>> target = torch.randn(5, 2)
>>> var = torch.ones(5, 2, requires_grad=True)  # heteroscedastic
>>> output = loss(input, target, var)
>>> output.backward()

>>> loss = nn.GaussianNLLLoss()
>>> input = torch.randn(5, 2, requires_grad=True)
>>> target = torch.randn(5, 2)
>>> var = torch.ones(5, 1, requires_grad=True)  # homoscedastic
>>> output = loss(input, target, var)
>>> output.backward()

注意

var 的钳制操作在 autograd 中被忽略，因此梯度不受其影响。

参考

Nix, D. A. 和 Weigend, A. S., “Estimating the mean and variance of the target probability distribution”, Proceedings of 1994 IEEE International Conference on Neural Networks (ICNN’94), Orlando, FL, USA, 1994, pp. 55-60 vol.1, doi: 10.1109/ICNN.1994.374138.