torch.autograd.graph.Node.register_prehook¶
- 抽象 Node.register_prehook(fn)[source][source]¶
注册一个向后预钩子。
每当计算关于 Node 的梯度时,将调用此钩子。此钩子应具有以下签名
hook(grad_outputs: Tuple[Tensor]) -> Tuple[Tensor] or None
钩子不应修改其参数,但可以选择返回一个新的梯度,该梯度将代替
grad_outputs
使用。此函数返回一个带有方法
handle.remove()
的句柄,该方法从模块中删除钩子。注意
有关此钩子何时执行以及其执行顺序相对于其他钩子的更多信息,请参阅向后钩子执行。
示例
>>> a = torch.tensor([0., 0., 0.], requires_grad=True) >>> b = a.clone() >>> assert isinstance(b.grad_fn, torch.autograd.graph.Node) >>> handle = b.grad_fn.register_prehook(lambda gI: (gI[0] * 2,)) >>> b.sum().backward(retain_graph=True) >>> print(a.grad) tensor([2., 2., 2.]) >>> handle.remove() >>> a.grad = None >>> b.sum().backward(retain_graph=True) >>> print(a.grad) tensor([1., 1., 1.])
- 返回类型
RemovableHandle