注意
点击此处下载完整示例代码
学习基础知识 || 快速入门 || 张量 || 数据集与 DataLoaders || 转换 || 构建模型 || 自动微分 || 优化 || 保存与加载模型
使用 torch.autograd 进行自动微分¶
创建日期：2021年2月10日 | 最后更新：2024年1月16日 | 最后验证：2024年11月5日
训练神经网络时，最常用的算法是反向传播。在该算法中，根据损失函数相对于给定参数的梯度来调整参数（模型权重）。
为了计算这些梯度，PyTorch 内置了一个称为 torch.autograd 的微分引擎。它支持对任何计算图自动计算梯度。
考虑最简单的单层神经网络，输入为 x，参数为 w 和 b，以及某个损失函数。它可以通过以下方式在 PyTorch 中定义：
import torch
x = torch.ones(5) # input tensor
y = torch.zeros(3) # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)
张量、函数与计算图¶
此代码定义了以下计算图
在这个网络中，w 和 b 是参数，我们需要对其进行优化。因此，我们需要能够计算损失函数相对于这些变量的梯度。为此，我们将这些张量的 requires_grad 属性设置为 True。
注意
你可以在创建张量时设置 requires_grad 的值，也可以稍后使用 x.requires_grad_(True) 方法设置。
我们应用于张量以构建计算图的函数实际上是 Function 类的一个对象。此对象知道如何执行函数在前向方向的计算，以及如何在反向传播步骤中计算其导数。对反向传播函数的引用存储在张量的 grad_fn 属性中。你可以在文档中找到更多关于 Function 的信息。
Gradient function for z = <AddBackward0 object at 0x7f5842ad19c0>
Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward0 object at 0x7f5842ad0610>
计算梯度¶
为了优化神经网络中的参数权重，我们需要计算损失函数相对于参数的导数，即在某些固定值 x 和 y 下，我们需要计算 \(\frac{\partial loss}{\partial w}\) 和 \(\frac{\partial loss}{\partial b}\)。要计算这些导数，我们调用 loss.backward()，然后从 w.grad 和 b.grad 中检索值。
loss.backward()
print(w.grad)
print(b.grad)
tensor([[0.3313, 0.0626, 0.2530],
[0.3313, 0.0626, 0.2530],
[0.3313, 0.0626, 0.2530],
[0.3313, 0.0626, 0.2530],
[0.3313, 0.0626, 0.2530]])
tensor([0.3313, 0.0626, 0.2530])
注意
我们只能获取计算图叶子节点的
grad属性，这些叶子节点的requires_grad属性设置为True。对于图中所有其他节点，梯度将不可用。出于性能考虑，我们只能在给定图上使用
backward进行一次梯度计算。如果我们需要在同一个图上进行多次backward调用，我们需要将retain_graph=True传递给backward调用。
禁用梯度跟踪¶
默认情况下，所有 requires_grad=True 的张量都会跟踪其计算历史并支持梯度计算。然而，有些情况下我们不需要这样做，例如，当我们训练完模型并只想将其应用于某些输入数据时，即我们只想通过网络进行前向计算。我们可以通过将我们的计算代码放在 torch.no_grad() 块中来停止跟踪计算。
z = torch.matmul(x, w)+b
print(z.requires_grad)
with torch.no_grad():
z = torch.matmul(x, w)+b
print(z.requires_grad)
True
False
实现相同结果的另一种方法是对张量使用 detach() 方法。
False
- 你可能希望禁用梯度跟踪的原因包括：
将神经网络中的某些参数标记为冻结参数。
当你只进行前向传播时，加快计算速度，因为不对梯度进行跟踪的张量上的计算会更高效。
更多关于计算图的信息¶
从概念上讲，autograd 记录了数据（张量）和所有执行的操作（以及由此产生的新张量），形成一个由 Function 对象组成的有向无环图 (DAG)。在这个 DAG 中，叶子节点是输入张量，根节点是输出张量。通过从根节点追溯到叶子节点，你可以使用链式法则自动计算梯度。
在前向传播中，autograd 同时完成两件事：
运行请求的操作以计算结果张量
在 DAG 中维护操作的梯度函数。
当在 DAG 的根节点上调用 .backward() 时，反向传播启动。autograd 随后：
计算每个
.grad_fn的梯度，将它们累加到对应张量的
.grad属性中使用链式法则，一直传播到叶子张量。
注意
DAG 在 PyTorch 中是动态的 需要注意的一点是，图是每次都从头开始重建的；在每次 .backward() 调用之后，autograd 开始填充一个新图。这正是允许你在模型中使用控制流语句的原因；如果需要，你可以在每次迭代中改变形状、大小和操作。
可选阅读：张量梯度与雅可比乘积¶
在许多情况下，我们有一个标量损失函数，并且需要计算相对于某些参数的梯度。然而，在某些情况下，输出函数是一个任意的张量。在这种情况下，PyTorch 允许你计算所谓的雅可比乘积，而不是实际的梯度。
对于一个向量函数 \(\vec{y}=f(\vec{x})\)，其中 \(\vec{x}=\langle x_1,\dots,x_n\rangle\) 和 \(\vec{y}=\langle y_1,\dots,y_m\rangle\)，\(\vec{y}\) 相对于 \(\vec{x}\) 的梯度由雅可比矩阵给出：
PyTorch 不是计算雅可比矩阵本身，而是允许你计算对于给定输入向量 \(v=(v_1 \dots v_m)\) 的雅可比乘积 \(v^T\cdot J\)。这通过调用带参数 \(v\) 的 backward 实现。 \(v\) 的大小应与我们想要计算乘积的原始张量的大小相同。
inp = torch.eye(4, 5, requires_grad=True)
out = (inp+1).pow(2).t()
out.backward(torch.ones_like(out), retain_graph=True)
print(f"First call\n{inp.grad}")
out.backward(torch.ones_like(out), retain_graph=True)
print(f"\nSecond call\n{inp.grad}")
inp.grad.zero_()
out.backward(torch.ones_like(out), retain_graph=True)
print(f"\nCall after zeroing gradients\n{inp.grad}")
First call
tensor([[4., 2., 2., 2., 2.],
[2., 4., 2., 2., 2.],
[2., 2., 4., 2., 2.],
[2., 2., 2., 4., 2.]])
Second call
tensor([[8., 4., 4., 4., 4.],
[4., 8., 4., 4., 4.],
[4., 4., 8., 4., 4.],
[4., 4., 4., 8., 4.]])
Call after zeroing gradients
tensor([[4., 2., 2., 2., 2.],
[2., 4., 2., 2., 2.],
[2., 2., 4., 2., 2.],
[2., 2., 2., 4., 2.]])
请注意，当我们第二次使用相同参数调用 backward 时，梯度的值是不同的。这是因为在进行 backward 传播时，PyTorch 会累加梯度，即计算出的梯度值会添加到计算图所有叶子节点的 grad 属性中。如果你想计算正确的梯度，你需要先将 grad 属性清零。在实际训练中，优化器会帮助我们完成此操作。
注意
之前我们调用 backward() 函数时没有参数。这本质上等同于调用 backward(torch.tensor(1.0))，这是在标量值函数（例如神经网络训练期间的损失函数）的情况下计算梯度的一种有用方法。
