ts.model_service 包

子模块

ts.model_service.model_service 模块

ModelService 定义了基础模型服务的 API。

class ts.model_service.model_service.ModelService(model_name, model_dir, manifest, gpu=None)

基类: object

ModelService 封装了模型服务使用的所有预处理、推理和后处理函数。它以灵活的方式定义，以便轻松扩展以支持不同的框架。

handle(data, context)

向后兼容的处理函数。

参数:

• data –

• context –

返回值:

abstract inference(data)

运行预处理、推理和后处理函数的包装函数。

参数:

data (对象列表) – 来自请求的原始输入。

返回值:

要发送回的数据

返回类型:

要发送回客户端的输出列表。

initialize(context)

内部初始化 ModelService。

参数:

context – MMS 上下文对象

返回值:

abstract ping()

Ping 以获取系统运行状况。

返回值:

一条消息，“health”: “healthy!”，表示系统运行正常。

返回类型:

字符串

signature()

模型服务的签名。

返回值:

模型服务签名。

返回类型:

字典

class ts.model_service.model_service.SingleNodeService(model_name, model_dir, manifest, gpu=None)

基类: ModelService

SingleNodeModel 定义了加载单个模型的模型服务的抽象。

inference(data)

运行预处理、推理和后处理函数的包装函数。

参数:

data (对象列表) – 来自请求的原始输入。

返回值:

要发送回的数据

返回类型:

要发送回客户端的输出列表。

模块内容

模型服务代码