no_grad¶
- class torch.no_grad(orig_func=None)[source][source]¶
禁用梯度计算的上下文管理器。
当您确定不会调用
Tensor.backward()
时,禁用梯度计算对于推理很有用。它将减少原本具有 requires_grad=True 的计算的内存消耗。在此模式下,即使输入具有 requires_grad=True,每次计算的结果都将具有 requires_grad=False。但有一个例外!所有工厂函数或创建新张量并接受 requires_grad kwarg 的函数将不会受此模式影响。
此上下文管理器是线程本地的;它不会影响其他线程中的计算。
也可用作装饰器。
注意
No-grad 是几种可以本地启用或禁用梯度的机制之一,请参阅 本地禁用梯度计算,以获取有关它们之间比较的更多信息。
注意
此 API 不适用于 前向模式 AD。如果您想为计算禁用前向 AD,可以解包您的对偶张量。
- 示例:
>>> x = torch.tensor([1.], requires_grad=True) >>> with torch.no_grad(): ... y = x * 2 >>> y.requires_grad False >>> @torch.no_grad() ... def doubler(x): ... return x * 2 >>> z = doubler(x) >>> z.requires_grad False >>> @torch.no_grad() ... def tripler(x): ... return x * 3 >>> z = tripler(x) >>> z.requires_grad False >>> # factory function exception >>> with torch.no_grad(): ... a = torch.nn.Parameter(torch.rand(10)) >>> a.requires_grad True