torch.autograd.gradcheck.gradgradcheck

torch.autograd.gradcheck.gradgradcheck(func, inputs, grad_outputs=None, *, eps=1e-06, atol=1e-05, rtol=0.001, gen_non_contig_grad_outputs=False, raise_exception=True, nondet_tol=0.0, check_undefined_grad=True, check_grad_dtypes=False, check_batched_grad=False, check_fwd_over_rev=False, check_rev_over_rev=True, fast_mode=False, masked=False)

检查通过小有限差分计算的梯度的梯度，与关于浮点型或复数类型且 requires_grad=True 的 inputs 和 grad_outputs 张量的解析梯度进行比较。

此函数检查通过反向传播计算到给定 grad_outputs 的梯度是否正确。

数值梯度和解析梯度之间的检查使用 allclose()。

注意

默认值是为双精度 input 和 grad_outputs 设计的。如果它们的精度较低，例如 FloatTensor，则此检查很可能会失败。

警告

如果 input 和 grad_outputs 中任何被检查的张量具有重叠的内存，即不同的索引指向相同的内存地址（例如，来自 torch.Tensor.expand()），则此检查很可能会失败，因为在此类索引处通过点扰动计算的数值梯度将更改共享相同内存地址的所有其他索引处的值。

参数

• func (function) – 一个 Python 函数，它接受 Tensor 输入并返回一个 Tensor 或 Tensor 元组

• inputs (tuple of Tensor or Tensor) – 函数的输入

• grad_outputs (tuple of Tensor or Tensor, optional) – 关于函数输出的梯度。

• eps (float, optional) – 有限差分的扰动

• atol (float, optional) – 绝对容差

• rtol (float, optional) – 相对容差

• gen_non_contig_grad_outputs (bool, optional) – 如果 grad_outputs 为 None 且 gen_non_contig_grad_outputs 为 True，则随机生成的梯度输出将变为非连续的

• raise_exception (bool, optional) – 指示在检查失败时是否引发异常。该异常提供有关失败确切性质的更多信息。这在调试 gradcheck 时很有帮助。

• nondet_tol (float, optional) – 非确定性的容差。当通过微分运行相同的输入时，结果必须完全匹配（默认值，0.0）或在此容差范围内。请注意，梯度中的少量非确定性会导致二阶导数中更大的不准确性。

• check_undefined_grad (bool, optional) – 如果为 True，则检查是否支持未定义的输出梯度并将其视为零

• check_batched_grad (bool, optional) – 如果为 True，则检查我们是否可以使用原型 vmap 支持计算批处理梯度。默认为 False。

• fast_mode (bool, optional) – 如果为 True，则运行 gradgradcheck 的更快实现，该实现不再计算整个雅可比矩阵。

• masked (bool, optional) – 如果为 True，则忽略稀疏张量的未指定元素的梯度（默认值，False）。

返回

如果所有差异都满足 allclose 条件，则为 True

返回类型

bool