torch.autograd.gradcheck.gradgradcheck¶
- torch.autograd.gradcheck.gradgradcheck(func, inputs, grad_outputs=None, *, eps=1e-06, atol=1e-05, rtol=0.001, gen_non_contig_grad_outputs=False, raise_exception=True, nondet_tol=0.0, check_undefined_grad=True, check_grad_dtypes=False, check_batched_grad=False, check_fwd_over_rev=False, check_rev_over_rev=True, fast_mode=False, masked=False)[source]¶
检查通过小有限差分计算的梯度的梯度，相对于
inputs和grad_outputs中的张量（类型为浮点型或复数型，且requires_grad=True）的解析梯度。此函数检查向给定
grad_outputs计算的梯度反向传播是否正确。数值梯度和解析梯度之间的检查使用
allclose()。注意
默认值是为双精度
input和grad_outputs而设计的。如果精度较低，例如FloatTensor，则此检查可能会失败。警告
如果
input和grad_outputs中的任何检查张量具有重叠内存，即不同索引指向同一个内存地址（例如，来自torch.expand()），则此检查可能会失败，因为在这些索引处进行点扰动计算的数值梯度会改变共享同一个内存地址的所有其他索引的值。- 参数
func (function) – 一个 Python 函数，它接受张量输入并返回一个张量或张量元组
grad_outputs (tuple of Tensor or Tensor, optional) – 相对于函数输出的梯度。
eps (float, optional) – 有限差分的扰动
atol (float, optional) – 绝对容差
rtol (float, optional) – 相对容差
gen_non_contig_grad_outputs (bool, optional) – 如果
grad_outputs为None且gen_non_contig_grad_outputs为True，则随机生成的梯度输出将变为非连续的raise_exception (bool, optional) – 指示如果检查失败是否要引发异常。异常提供有关失败确切性质的更多信息。这在调试 gradchecks 时很有用。
nondet_tol (float, optional) – 非确定性容差。当对相同输入执行微分时，结果必须完全匹配（默认值，0.0）或在此容差范围内。请注意，梯度中的少量非确定性会导致二阶导数出现更大的误差。
check_undefined_grad (bool, optional) – 如果为 True，则检查是否支持未定义的输出梯度并将其视为零。
check_batched_grad (bool, optional) – 如果为 True，则检查是否可以使用原型 vmap 支持计算批次梯度。默认为 False。
fast_mode (bool, optional) – 如果为 True，则运行更快的 gradgradcheck 实现，该实现不再计算整个雅可比矩阵。
masked (bool, optional) – 如果为 True，则忽略稀疏张量中未指定元素的梯度（默认值，False）。
- 返回值
如果所有差异都满足 allclose 条件，则为 True
- 返回类型
