torch.autograd.function.FunctionCtx.save_for_backward¶
- FunctionCtx.save_for_backward(*tensors)[源代码]¶
将给定的张量保存以备将来调用
backward()
。save_for_backward
应该最多调用一次,在setup_context()
或forward()
方法中,并且只能使用张量作为参数。所有打算在反向传播过程中使用的张量都应该使用
save_for_backward
保存(而不是直接保存在ctx
上),以防止出现不正确的梯度和内存泄漏,并启用保存的张量钩子的应用。请参阅torch.autograd.graph.saved_tensors_hooks
。请注意,如果将中间张量(既不是
forward()
的输入也不是输出的张量)保存以备反向传播,则自定义函数可能不支持双重反向传播。不支持双重反向传播的自定义函数应使用@once_differentiable
装饰其backward()
方法,以便在执行双重反向传播时引发错误。如果要支持双重反向传播,则可以在反向传播期间根据输入重新计算中间值,或者将中间值作为自定义函数的输出返回。有关更多详细信息,请参阅 双重反向传播教程。在
backward()
中,可以通过saved_tensors
属性访问保存的张量。在将它们返回给用户之前,会进行检查以确保它们没有在任何修改其内容的原地操作中使用。参数也可以是
None
。这将执行一个无操作。有关如何使用此方法的更多详细信息,请参阅 扩展 torch.autograd。
- 示例:
>>> class Func(Function): >>> @staticmethod >>> def forward(ctx, x: torch.Tensor, y: torch.Tensor, z: int): >>> w = x * z >>> out = x * y + y * z + w * y >>> ctx.save_for_backward(x, y, w, out) >>> ctx.z = z # z is not a tensor >>> return out >>> >>> @staticmethod >>> @once_differentiable >>> def backward(ctx, grad_out): >>> x, y, w, out = ctx.saved_tensors >>> z = ctx.z >>> gx = grad_out * (y + y * z) >>> gy = grad_out * (x + z + w) >>> gz = None >>> return gx, gy, gz >>> >>> a = torch.tensor(1., requires_grad=True, dtype=torch.double) >>> b = torch.tensor(2., requires_grad=True, dtype=torch.double) >>> c = 4 >>> d = Func.apply(a, b, c)