ts 包

子包

• ts.metrics 包
  • 子模块
  • ts.metrics.dimension 模块
  • ts.metrics.metric 模块
  • ts.metrics.metric_collector 模块
  • ts.metrics.metric_encoder 模块
  • ts.metrics.metrics_store 模块
  • ts.metrics.process_memory_metric 模块
  • ts.metrics.system_metrics 模块
  • ts.metrics.unit 模块
  • 模块内容
• ts.model_service 包
  • 子模块
  • ts.model_service.model_service 模块
  • 模块内容
• ts.protocol 包
  • 子模块
  • ts.protocol.otf_message_handler 模块
  • 模块内容
• ts.torch_handler 包
  • 子包
    • ts.torch_handler.request_envelope 包
      • 子模块
      • ts.torch_handler.request_envelope.base 模块
      • ts.torch_handler.request_envelope.body 模块
      • ts.torch_handler.request_envelope.json 模块
      • ts.torch_handler.request_envelope.kserve 模块
      • ts.torch_handler.request_envelope.kservev2 模块
      • 模块内容
    • ts.torch_handler.unit_tests 包
      • 子包
      • 子模块
      • ts.torch_handler.unit_tests.test_base_handler 模块
      • ts.torch_handler.unit_tests.test_envelopes 模块
      • ts.torch_handler.unit_tests.test_image_classifier 模块
      • ts.torch_handler.unit_tests.test_image_segmenter 模块
      • ts.torch_handler.unit_tests.test_mnist_kf 模块
      • ts.torch_handler.unit_tests.test_object_detector 模块
      • 模块内容
  • 子模块
  • ts.torch_handler.base_handler 模块
  • ts.torch_handler.contractions 模块
  • ts.torch_handler.densenet_handler 模块
  • ts.torch_handler.image_classifier 模块
  • ts.torch_handler.image_segmenter 模块
  • ts.torch_handler.object_detector 模块
  • ts.torch_handler.text_classifier 模块
  • ts.torch_handler.text_handler 模块
  • ts.torch_handler.vision_handler 模块
  • 模块内容
• ts.utils 包
  • 子模块
  • ts.utils.timeit_decorator 模块
  • ts.utils.util 模块
  • 模块内容

子模块

ts.arg_parser 模块

此模块解析通过 torchserve 命令行给出的参数。这在运行时由模型服务器使用。

class ts.arg_parser.ArgParser

Bases: object

torchserve 和 torchserve-export 命令的参数解析器 TODO：添加自述文件 URL

static extract_args(args=None)

static model_service_worker_args()

后端工作器的 ArgParser。接受套接字名称和套接字类型。:return

static ts_parser()

torchserve 启动服务的参数解析器

ts.context 模块

传入请求的上下文对象

class ts.context.Context(model_name, model_dir, manifest, batch_size, gpu, mms_version, limit_max_image_pixels=True, metrics=None, model_yaml_config=None)

Bases: object

Context 存储与模型相关的 worker 信息，一些在加载时固定，一些由服务设置

get_all_request_header(idx: int) → Dict[str, str]

get_request_header(idx: int, key: str) → Optional[str]

get_request_id(idx: int = 0) → Optional[str]

get_response_content_type(idx: int) → Optional[str]

get_response_headers(idx: int) → Dict[str, str]

get_response_status(idx: int) → Tuple[int, str]

get_sequence_id(idx: int) → str

property metrics

property request_processor

set_all_response_status(code: int = 200, phrase: str = '') → None

设置单个请求的状态码 :param phrase: :param code: :return

set_response_content_type(idx: int, value: str) → None

set_response_header(idx, key, value)

set_response_status(code: int = 200, phrase: str = '', idx: int = 0)

设置单个请求的状态码 :param phrase: :param idx: 发送到handle()方法中的列表(data)中的索引数据 :param code: :return

property system_properties

class ts.context.RequestProcessor(request_header: dict)

Bases: object

请求处理器

add_response_property(key: str, value: str) → None

get_request_properties() → dict

get_request_property(key: str) → Optional[str]

get_response_header(key: str) → Optional[str]

get_response_headers() → dict

get_response_status_code() → int

get_response_status_phrase() → Optional[str]

report_status(code, reason_phrase=None) → None

ts.model_loader 模块

模型加载器。

class ts.model_loader.ModelLoader

Bases: object

基础模型加载器类。

abstract load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True)

从文件加载模型。

参数:

• model_name –

• model_dir –

• handler –

• gpu_id –

• batch_size –

• envelope –

• limit_max_image_pixels –

返回:

模型

class ts.model_loader.ModelLoaderFactory

Bases: object

static get_model_loader()

class ts.model_loader.TsModelLoader

Bases: ModelLoader

TorchServe 1.0 模型加载器

load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True, metrics_cache: Optional[MetricsCacheYamlImpl] = None) → Service

从文件加载 TorchServe 1.0 模型。

参数:

• model_name –

• model_dir –

• handler –

• gpu_id –

• batch_size –

• envelope –

• limit_max_image_pixels –

• metrics_cache – MetricsCacheYamlImpl 对象

返回:

ts.model_server 模块

定义模型服务器入口点的文件

ts.model_server.load_properties(file_path: str) → Dict[str, str]

将属性文件读入映射中。

ts.model_server.start() → None

这是模型服务器的入口点 :return

ts.model_service_worker 模块

ModelServiceWorker 是由 MMS 前端启动的 worker。通信消息格式：二进制编码

class ts.model_service_worker.TorchModelServiceWorker(s_type: Optional[str] = None, s_name: Optional[str] = None, host_addr: Optional[str] = None, port_num: Optional[int] = None, metrics_config: Optional[str] = None, async_comm: Optional[bool] = False)

Bases: object

后端 worker 用于处理模型服务器的 python 服务代码

handle_connection(cl_socket)

处理套接字连接。

参数:

cl_socket –

返回:

handle_connection_async(cl_socket)

处理套接字连接。

参数:

cl_socket –

返回:

load_model(load_model_request)

预期命令 {

“command” : “load”, string “modelPath” : “/path/to/model/file”, string “modelName” : “name”, string “gpu” : 如果是 CPU 则为 None，否则为 gpu_id，int “handler” : 如果提供，则为服务处理程序入口点，string “envelope” : 如果提供，则为请求数据的包装器/解包装器名称，string “batchSize” : 批次大小，int “limitMaxImagePixels”: 限制枕头图像 max_image_pixels，bool

}

参数:

load_model_request –

返回:

run_server()

运行后端 worker 进程并在套接字上监听 :return

ts.service 模块

CustomService 类定义

class ts.service.Service(model_name, model_dir, manifest, entry_point, gpu, batch_size, limit_max_image_pixels=True, metrics_cache=None)

Bases: object

自定义 entry_point 的包装器

property context

predict(batch)

PREDICT 命令 = {

“command”: “predict”, “batch”: [ REQUEST_INPUT ]

} :param batch: 请求列表 :return

static retrieve_data_for_inference(batch)

REQUEST_INPUT = {

“requestId” : “111-222-3333”, “parameters” : [ PARAMETER ]

}

PARAMETER = {

“name” : 参数名称 “contentType”: “http-content-types”, “value”: “val1”

}

参数:

batch –

返回:

set_cl_socket(cl_socket)

ts.service.emit_metrics(metrics)

在提供的字典中发出指标

参数:

• metrics (所有指标的字典) –

• metrics –

• metric_name (当键是) –

• object (值是指标) –

ts.version 模块

这是 TorchServe 的当前版本

模块内容

此模块执行以下操作： a. 启动模型服务器。 b. 基于配置的模型创建端点。 c. 公开标准的“ping”和“api-description”端点。 d. 等待服务推理请求。