⚠️ 通知:维护有限
该项目不再积极维护。现有版本仍然可用,但没有计划中的更新、错误修复、新功能或安全补丁。用户应注意,漏洞可能无法得到解决。
管理 API¶
TorchServe 提供以下 API,允许您在运行时管理工作流
工作流管理 API 默认监听端口 8081,并且只能从 localhost 访问。要更改默认设置,请参阅TorchServe 配置。
注册工作流¶
POST /workflows
url
- 工作流归档文件下载 url。支持以下位置本地工作流归档文件 (.war);文件必须位于
workflow_store
文件夹中(而不是子文件夹中)。使用 HTTP(s) 协议的 URI。TorchServe 可以从互联网下载
.war
文件。
workflow_name
- 工作流的名称;此名称将在其他 API 中用作路径的一部分,格式为 {workflow_name}。如果此参数不存在,将使用 MANIFEST.json 中的modelName
。
curl -X POST "http://localhost:8081/workflows?url=https://<public_url>/myworkflow.mar"
{
"status": "Workflow myworkflow has been registered and scaled successfully."
}
工作流注册 API 解析工作流归档文件 (.war) 中提供的工作流规范文件 (.yaml),并使用规范中提供的配置将 DAG 中指定的所有模型注册到 TorchServe。
描述工作流¶
GET /workflows/{workflow_name}
使用描述工作流 API 获取工作流详情
curl http://localhost:8081/workflows/myworkflow
[
{
"workflowName": "myworkflow",
"workflowUrl": "myworkflow.war",
"minWorkers": 1,
"maxWorkers": 1,
"batchSize": 8,
"maxBatchDelay": 5000,
"workflowDag": "{preprocessing=[m1], m1=[postprocessing]}"
}
]
注销工作流¶
DELETE /workflows/{workflow_name}
使用注销工作流 API 从 TorchServe 注销工作流以释放系统资源
curl -X DELETE http://localhost:8081/workflows/myworkflow
{
"status": "Workflow \"myworkflow\" unregistered"
}
列出工作流¶
GET /models
limit
- (可选)要返回的最大项目数。它作为查询参数传递。默认值为100
。next_page_token
- (可选)查询下一页。它作为查询参数传递。此值由上一个 API 调用返回。
使用列表工作流 API 查询当前已注册的工作流
curl "http://localhost:8081/workflows"
此 API 支持分页
curl "http://localhost:8081/workflows?limit=2&next_page_token=2"
{
"nextPageToken": "4",
"workflows": [
{
"workflowName": "myworkflow1",
"workflowUrl": "myworkflow1.war"
},
{
"workflowName": "myworkflow2",
"workflowUrl": "myworkflow2.war"
}
]
}