⚠️ 注意:维护有限
此项目不再积极维护。现有版本仍然可用,但没有计划的更新、错误修复、新功能或安全补丁。用户应注意,漏洞可能不会得到解决。
TorchServe 模型快照¶
TorchServe 在会话之间保留服务器运行时配置,以便经历计划内或计划外服务停止的 TorchServe 实例可以在重启时恢复其状态。
注意:当前快照不支持工作流。
TorchServe 的快照包含以下内容
服务器配置,包括:正在运行哪些模型,这些模型的哪些版本,以及每个模型有多少活动的工作进程。
首次启动 TorchServe 时使用的默认服务器配置。
在以下情况下会生成快照 -
成功启动后,服务器将其当前配置存储在带时间戳的快照文件 ./logs/config/ 中
-startup.cfg 如果用户以更改服务器运行时配置的方式调用管理 API,快照会保存到 ./logs/config/ 中
-snapshot.cfg 当服务器使用
torchserve --stop
命令有意关闭时,快照会保存到 ./logs/configs/ 中-shutdown.cfg
用户可以使用快照按如下方式恢复 TorchServe 的状态
如果在启动 TorchServe 时没有通过
--ts-config-file
标志提供配置文件,则使用 ./logs/configs 中最新的快照进行启动。如果启动时没有通过
--ts-config-file
标志提供配置文件且没有可用的快照,则 TorchServe 将使用默认配置启动。用户通过指定此配置文件来重启服务器:
torchserve --start --model-store <模型仓库> --ts-config <已知良好配置快照>
如果用户希望在不使用此弹性功能的情况下启动,可以使用以下命令启动服务器
torchserve --start --model-store <模型仓库> --no-config-snapshots
这会阻止服务器存储配置快照文件。
快照默认存储在 {LOG_LOCATION}\config
目录中,其中 {LOG_LOCATION}
是 TorchServe 可以使用的系统环境变量。如果未设置此变量,快照将存储在 .\log\config
目录中
注意 :
如果在从快照恢复时启动 TorchServe,通过 –models 参数传递的模型将被忽略。
对于 Windows,如果未生成关机快照文件,则可以使用上次的快照文件。