• 文档 >
  • TorchServe 模型快照
快捷方式

⚠️ 注意:维护有限

此项目不再积极维护。现有版本仍然可用,但没有计划的更新、错误修复、新功能或安全补丁。用户应注意,漏洞可能不会得到解决。

TorchServe 模型快照

TorchServe 在会话之间保留服务器运行时配置,以便经历计划内或计划外服务停止的 TorchServe 实例可以在重启时恢复其状态。

注意:当前快照不支持工作流。

TorchServe 的快照包含以下内容

  • 服务器配置,包括:正在运行哪些模型,这些模型的哪些版本,以及每个模型有多少活动的工作进程。

  • 首次启动 TorchServe 时使用的默认服务器配置。

在以下情况下会生成快照 -

  • 成功启动后,服务器将其当前配置存储在带时间戳的快照文件 ./logs/config/ 中-startup.cfg

  • 如果用户以更改服务器运行时配置的方式调用管理 API,快照会保存到 ./logs/config/ 中-snapshot.cfg

  • 当服务器使用 torchserve --stop 命令有意关闭时,快照会保存到 ./logs/configs/ 中-shutdown.cfg

用户可以使用快照按如下方式恢复 TorchServe 的状态

  • 如果在启动 TorchServe 时没有通过 --ts-config-file 标志提供配置文件,则使用 ./logs/configs 中最新的快照进行启动。

  • 如果启动时没有通过 --ts-config-file 标志提供配置文件且没有可用的快照,则 TorchServe 将使用默认配置启动。

  • 用户通过指定此配置文件来重启服务器:torchserve --start --model-store <模型仓库> --ts-config <已知良好配置快照>

如果用户希望在不使用此弹性功能的情况下启动,可以使用以下命令启动服务器

torchserve --start --model-store <模型仓库> --no-config-snapshots

这会阻止服务器存储配置快照文件。

快照默认存储在 {LOG_LOCATION}\config 目录中,其中 {LOG_LOCATION} 是 TorchServe 可以使用的系统环境变量。如果未设置此变量,快照将存储在 .\log\config 目录中

注意 :

  1. 如果在从快照恢复时启动 TorchServe,通过 –models 参数传递的模型将被忽略。

  2. 对于 Windows,如果未生成关机快照文件,则可以使用上次的快照文件。

文档

查阅 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深度教程

查看教程

资源

查找开发资源并获得问题解答

查看资源