TorchServe REST API

TorchServe 使用 RESTful API 进行推理和管理调用。该 API 符合 OpenAPI 规范 3.0。您可以使用 swagger codegen 轻松生成 Java、Scala、C# 或 Javascript 的客户端代码。

TorchServe 启动时，会启动两个 Web 服务

• 推理 API

• 管理 API

• 指标 API

• 工作流推理 API

• 工作流管理 API

默认情况下，TorchServe 在端口 8080 上侦听推理 API，在端口 8081 上侦听管理 API。这两个 API 默认情况下只能从本地主机访问。要启用从远程主机访问，请参阅 TorchServe 配置。