• 教程 >
  • 保存和加载模型
快捷方式

学习基础知识 || 快速入门 || 张量 || 数据集和数据加载器 || 变换 || 构建模型 || 自动微分 || 优化 || 保存和加载模型

保存和加载模型

在本节中,我们将了解如何通过保存、加载和运行模型预测来持久化模型状态。

import torch
import torchvision.models as models

保存和加载模型权重

PyTorch 模型将学习到的参数存储在内部状态字典中,称为 state_dict。这些可以通过 torch.save 方法持久化。

model = models.vgg16(weights='IMAGENET1K_V1')
torch.save(model.state_dict(), 'model_weights.pth')
Downloading: "https://download.pytorch.org/models/vgg16-397923af.pth" to /var/lib/ci-user/.cache/torch/hub/checkpoints/vgg16-397923af.pth

  0%|          | 0.00/528M [00:00<?, ?B/s]
  4%|3         | 20.8M/528M [00:00<00:02, 216MB/s]
  8%|7         | 42.1M/528M [00:00<00:02, 220MB/s]
 12%|#2        | 63.4M/528M [00:00<00:02, 221MB/s]
 16%|#6        | 84.8M/528M [00:00<00:02, 222MB/s]
 20%|##        | 106M/528M [00:00<00:01, 222MB/s]
 24%|##4       | 127M/528M [00:00<00:01, 222MB/s]
 28%|##8       | 148M/528M [00:00<00:01, 222MB/s]
 32%|###2      | 170M/528M [00:00<00:01, 223MB/s]
 36%|###6      | 191M/528M [00:00<00:01, 223MB/s]
 40%|####      | 213M/528M [00:01<00:01, 223MB/s]
 44%|####4     | 234M/528M [00:01<00:01, 223MB/s]
 48%|####8     | 255M/528M [00:01<00:01, 223MB/s]
 52%|#####2    | 277M/528M [00:01<00:01, 223MB/s]
 56%|#####6    | 298M/528M [00:01<00:01, 223MB/s]
 61%|######    | 320M/528M [00:01<00:00, 223MB/s]
 65%|######4   | 341M/528M [00:01<00:00, 223MB/s]
 69%|######8   | 362M/528M [00:01<00:00, 223MB/s]
 73%|#######2  | 384M/528M [00:01<00:00, 223MB/s]
 77%|#######6  | 405M/528M [00:01<00:00, 223MB/s]
 81%|########  | 426M/528M [00:02<00:00, 223MB/s]
 85%|########4 | 448M/528M [00:02<00:00, 223MB/s]
 89%|########8 | 469M/528M [00:02<00:00, 223MB/s]
 93%|#########2| 490M/528M [00:02<00:00, 223MB/s]
 97%|#########6| 512M/528M [00:02<00:00, 223MB/s]
100%|##########| 528M/528M [00:02<00:00, 223MB/s]

要加载模型权重,您需要首先创建一个相同模型的实例,然后使用 load_state_dict() 方法加载参数。

在下面的代码中,我们将 weights_only=True 设置为限制在解序列化期间执行的函数,仅限于加载权重所需的函数。使用 weights_only=True 被认为是在加载权重时的最佳实践。

model = models.vgg16() # we do not specify ``weights``, i.e. create untrained model
model.load_state_dict(torch.load('model_weights.pth', weights_only=True))
model.eval()
VGG(
  (features): Sequential(
    (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (1): ReLU(inplace=True)
    (2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (3): ReLU(inplace=True)
    (4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (6): ReLU(inplace=True)
    (7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (8): ReLU(inplace=True)
    (9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (11): ReLU(inplace=True)
    (12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (13): ReLU(inplace=True)
    (14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (15): ReLU(inplace=True)
    (16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (18): ReLU(inplace=True)
    (19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (20): ReLU(inplace=True)
    (21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (22): ReLU(inplace=True)
    (23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
    (24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (25): ReLU(inplace=True)
    (26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (27): ReLU(inplace=True)
    (28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    (29): ReLU(inplace=True)
    (30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
  )
  (avgpool): AdaptiveAvgPool2d(output_size=(7, 7))
  (classifier): Sequential(
    (0): Linear(in_features=25088, out_features=4096, bias=True)
    (1): ReLU(inplace=True)
    (2): Dropout(p=0.5, inplace=False)
    (3): Linear(in_features=4096, out_features=4096, bias=True)
    (4): ReLU(inplace=True)
    (5): Dropout(p=0.5, inplace=False)
    (6): Linear(in_features=4096, out_features=1000, bias=True)
  )
)

注意

请务必在推理之前调用 model.eval() 方法,以将 dropout 和批归一化层设置为评估模式。如果不这样做,将产生不一致的推理结果。

保存和加载具有形状的模型

加载模型权重时,我们需要首先实例化模型类,因为类定义了网络的结构。我们可能希望将此类的结构与模型一起保存,在这种情况下,我们可以将model(而不是model.state_dict())传递给保存函数。

torch.save(model, 'model.pth')

然后我们可以按照以下示例加载模型。

保存和加载 torch.nn.Modules中所述,保存state_dict被认为是最佳实践。但是,在下面我们使用weights_only=False,因为这涉及加载模型,这是一种 torch.save 的遗留用例。

model = torch.load('model.pth', weights_only=False),

注意

此方法在序列化模型时使用 Python pickle 模块,因此它依赖于加载模型时实际类的定义可用。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源