快捷方式

torch.autograd.functional.hessian

torch.autograd.functional.hessian(func, inputs, create_graph=False, strict=False, vectorize=False, outer_jacobian_strategy='reverse-mode')[源代码]

计算给定标量函数的 Hessian。

参数
  • func (函数) – 一个 Python 函数,它接收张量输入并返回一个包含单个元素的张量。

  • inputs (元组张量张量) – 函数 func 的输入。

  • create_graph (布尔值, 可选) – 如果为 True,则 Hessian 将以可微分的方式计算。请注意,当 strictFalse 时,结果不能需要梯度或与输入分离。默认为 False

  • strict (布尔值, 可选) – 如果为 True,当我们检测到存在一个输入使得所有输出都独立于它时,将引发错误。如果为 False,我们将返回一个张量,其大小为零,作为该输入的 Hessian,这是预期的数学值。默认为 False

  • vectorize (布尔值, 可选) – 此功能尚处于实验阶段。如果您正在寻找更不实验且性能更高的功能,请考虑使用 torch.func.hessian()。在计算 Hessian 时,通常我们对 Hessian 的每一行调用一次 autograd.grad。如果此标志为 True,我们将使用 vmap 原型功能作为后端来矢量化对 autograd.grad 的调用,因此我们只调用它一次,而不是对每一行调用一次。这应该会在许多用例中带来性能提升,但是,由于此功能尚不完整,因此可能会出现性能下降。请使用 torch._C._debug_only_display_vmap_fallback_warnings(True) 来显示任何性能警告,如果您的用例中存在警告,请向我们提交问题。默认为 False

  • outer_jacobian_strategy (字符串, 可选) – Hessian 是通过计算 Jacobian 的 Jacobian 来计算的。内部 Jacobian 始终以反向模式 AD 计算。将策略设置为 "forward-mode""reverse-mode" 确定外部 Jacobian 是否将使用前向或反向模式 AD 计算。目前,以 "forward-mode" 计算外部 Jacobian 需要 vectorized=True。默认为 "reverse-mode"

返回值

如果只有一个输入,这将是一个包含输入 Hessian 的单个张量。如果它是一个元组,则 Hessian 将是一个元组元组,其中 Hessian[i][j] 将包含第 i 个输入和第 j 个输入的 Hessian,其大小为第 i 个输入的大小加上第 j 个输入的大小之和。 Hessian[i][j] 将具有与相应第 i 个输入相同的 dtype 和设备。

返回类型

Hessian (张量元组 张量)

示例

>>> def pow_reducer(x):
...     return x.pow(3).sum()
>>> inputs = torch.rand(2, 2)
>>> hessian(pow_reducer, inputs)
tensor([[[[5.2265, 0.0000],
          [0.0000, 0.0000]],
         [[0.0000, 4.8221],
          [0.0000, 0.0000]]],
        [[[0.0000, 0.0000],
          [1.9456, 0.0000]],
         [[0.0000, 0.0000],
          [0.0000, 3.2550]]]])
>>> hessian(pow_reducer, inputs, create_graph=True)
tensor([[[[5.2265, 0.0000],
          [0.0000, 0.0000]],
         [[0.0000, 4.8221],
          [0.0000, 0.0000]]],
        [[[0.0000, 0.0000],
          [1.9456, 0.0000]],
         [[0.0000, 0.0000],
          [0.0000, 3.2550]]]], grad_fn=<ViewBackward>)
>>> def pow_adder_reducer(x, y):
...     return (2 * x.pow(2) + 3 * y.pow(2)).sum()
>>> inputs = (torch.rand(2), torch.rand(2))
>>> hessian(pow_adder_reducer, inputs)
((tensor([[4., 0.],
          [0., 4.]]),
  tensor([[0., 0.],
          [0., 0.]])),
 (tensor([[0., 0.],
          [0., 0.]]),
  tensor([[6., 0.],
          [0., 6.]])))

文档

訪問 PyTorch 的全面的開發者文檔

查看文檔

教程

獲取初學者和高級開發者的深入教程

查看教程

資源

查找開發資源並獲得解答

查看資源