torch.autograd.functional.hessian¶
- torch.autograd.functional.hessian(func, inputs, create_graph=False, strict=False, vectorize=False, outer_jacobian_strategy='reverse-mode')[源代码]¶
计算给定标量函数的 Hessian。
- 参数
func (函数) – 一个 Python 函数,它接收张量输入并返回一个包含单个元素的张量。
create_graph (布尔值, 可选) – 如果为
True
,则 Hessian 将以可微分的方式计算。请注意,当strict
为False
时,结果不能需要梯度或与输入分离。默认为False
。strict (布尔值, 可选) – 如果为
True
,当我们检测到存在一个输入使得所有输出都独立于它时,将引发错误。如果为False
,我们将返回一个张量,其大小为零,作为该输入的 Hessian,这是预期的数学值。默认为False
。vectorize (布尔值, 可选) – 此功能尚处于实验阶段。如果您正在寻找更不实验且性能更高的功能,请考虑使用
torch.func.hessian()
。在计算 Hessian 时,通常我们对 Hessian 的每一行调用一次autograd.grad
。如果此标志为True
,我们将使用 vmap 原型功能作为后端来矢量化对autograd.grad
的调用,因此我们只调用它一次,而不是对每一行调用一次。这应该会在许多用例中带来性能提升,但是,由于此功能尚不完整,因此可能会出现性能下降。请使用 torch._C._debug_only_display_vmap_fallback_warnings(True) 来显示任何性能警告,如果您的用例中存在警告,请向我们提交问题。默认为False
。outer_jacobian_strategy (字符串, 可选) – Hessian 是通过计算 Jacobian 的 Jacobian 来计算的。内部 Jacobian 始终以反向模式 AD 计算。将策略设置为
"forward-mode"
或"reverse-mode"
确定外部 Jacobian 是否将使用前向或反向模式 AD 计算。目前,以"forward-mode"
计算外部 Jacobian 需要vectorized=True
。默认为"reverse-mode"
。
- 返回值
如果只有一个输入,这将是一个包含输入 Hessian 的单个张量。如果它是一个元组,则 Hessian 将是一个元组元组,其中
Hessian[i][j]
将包含第i
个输入和第j
个输入的 Hessian,其大小为第i
个输入的大小加上第j
个输入的大小之和。Hessian[i][j]
将具有与相应第i
个输入相同的 dtype 和设备。- 返回类型
示例
>>> def pow_reducer(x): ... return x.pow(3).sum() >>> inputs = torch.rand(2, 2) >>> hessian(pow_reducer, inputs) tensor([[[[5.2265, 0.0000], [0.0000, 0.0000]], [[0.0000, 4.8221], [0.0000, 0.0000]]], [[[0.0000, 0.0000], [1.9456, 0.0000]], [[0.0000, 0.0000], [0.0000, 3.2550]]]])
>>> hessian(pow_reducer, inputs, create_graph=True) tensor([[[[5.2265, 0.0000], [0.0000, 0.0000]], [[0.0000, 4.8221], [0.0000, 0.0000]]], [[[0.0000, 0.0000], [1.9456, 0.0000]], [[0.0000, 0.0000], [0.0000, 3.2550]]]], grad_fn=<ViewBackward>)
>>> def pow_adder_reducer(x, y): ... return (2 * x.pow(2) + 3 * y.pow(2)).sum() >>> inputs = (torch.rand(2), torch.rand(2)) >>> hessian(pow_adder_reducer, inputs) ((tensor([[4., 0.], [0., 4.]]), tensor([[0., 0.], [0., 0.]])), (tensor([[0., 0.], [0., 0.]]), tensor([[6., 0.], [0., 6.]])))