TorchServe 模型快照

TorchServe 跨会话保留服务器运行时配置，以便经历计划内或计划外服务停止的 TorchServe 实例可以在重启后恢复其状态。

注意： 当前快照不支持工作流。

TorchServe 的快照包含以下内容

• 服务器配置，包括：哪些模型正在运行，这些模型的哪些版本，以及每个模型有多少工作程序处于活动状态。

• 首次启动 TorchServe 时使用的默认服务器配置。

快照在以下实例中拍摄 -

• 成功启动后，服务器将其当前配置存储在带时间戳的快照文件 ./logs/config/ 中-startup.cfg

• 如果用户以更改服务器运行时配置的方式调用 Management API，则快照将保存到 ./logs/config/-snapshot.cfg

• 当服务器通过 torchserve --stop 有意关闭时，快照将保存到 ./logs/configs/-shutdown.cfg

用户可以使用快照来恢复 TorchServe 的状态，如下所示

• 如果在启动 TorchServe 时未使用 --ts-config-file 标志提供配置文件，则使用 ./logs/configs 中的最后一个快照进行启动。

• 如果未使用 --ts-config-file 标志提供配置文件，并且没有可用的快照，则 TorchServe 将使用默认配置启动。

• 用户重新启动服务器，指定此配置文件：torchserve --start --model-store <model store> --ts-config <known good config snapshot>

如果用户希望在不使用此弹性功能的情况下启动，则用户可以使用以下命令启动服务器

torchserve --start --model-store <model store> --no-config-snapshots

这会阻止服务器存储配置快照文件。

快照默认位于 {LOG_LOCATION}\config 目录中，其中 {LOG_LOCATION} 是可由 TorchServe 使用的系统环境变量。如果未设置此变量，则快照将存储在 .\log\config 目录中

注意 :

1. 如果在从快照恢复时，在启动 TorchServe 时在 –models 参数中传递模型，则这些模型将被忽略。

2. 对于 Windows，如果未生成关闭快照文件，则可以使用最后一个快照文件。