TorchServe 模型快照

TorchServe 保留服务器运行时配置，跨会话，以便遇到计划内或计划外服务停止的 TorchServe 实例可以在重新启动后恢复其状态。

注意：当前快照不支持工作流。

TorchServe 的快照包含以下内容：

• 服务器配置，包括：哪些模型正在运行，这些模型的哪些版本以及每个模型有多少个工作线程处于活动状态。

• 首次启动 TorchServe 时使用的默认服务器配置。

快照在以下情况下进行：

• 成功启动后，服务器将其当前配置存储在带时间戳的快照文件 ./logs/config/ 中。-startup.cfg

• 如果用户以更改服务器运行时配置的方式调用管理 API，则快照将保存到 ./logs/config/。-snapshot.cfg

• 当服务器使用 torchserve --stop 故意关闭时，快照将保存到 ./logs/configs/。-shutdown.cfg

用户可以使用快照如下恢复 TorchServe 的状态

• 如果启动 TorchServe 时没有使用 --ts-config-file 标志提供配置文件，则 ./logs/configs 中的最后一个快照将用于启动。

• 如果启动 TorchServe 时没有使用 --ts-config-file 标志并且没有可用的快照，则 TorchServe 将使用默认配置启动。

• 用户重新启动服务器并指定此配置文件：torchserve --start --model-store <model store> --ts-config <known good config snapshot>

如果用户希望在没有此弹性功能的情况下启动，则用户可以使用以下命令启动服务器

torchserve --start --model-store <model store> --no-config-snapshots

这将阻止服务器存储配置快照文件。

快照默认位于 {LOG_LOCATION}\config 目录中，其中 {LOG_LOCATION} 是 TorchServe 可以使用的系统环境变量。如果未设置此变量，则快照将存储在 .\log\config 目录中

注意 :

1. 启动 TorchServe 时在 –models 参数中传递的模型如果从快照中恢复，将被忽略。

2. 对于 Windows，如果未生成关闭快照文件，则可以使用最后一个快照文件。