TorchServe REST API

TorchServe 使用 RESTful API 进行推理和管理调用。该 API 符合 OpenAPI 规范 3.0。您可以使用 swagger codegen 轻松生成 Java、Scala、C# 或 Javascript 的客户端代码。

TorchServe 启动时，它会启动两个 Web 服务

• 推理 API

• 管理 API

• 指标 API

• 工作流推理 API

• 工作流管理 API

默认情况下，TorchServe 监听端口 8080 用于推理 API，端口 8081 用于管理 API。默认情况下，这两个 API 只能从本地主机访问。要允许从远程主机访问，请参阅 TorchServe 配置。