ts 包

子包

• ts.metrics 包
  • 子模块
  • ts.metrics.dimension 模块
  • ts.metrics.metric 模块
  • ts.metrics.metric_collector 模块
  • ts.metrics.metric_encoder 模块
  • ts.metrics.metrics_store 模块
  • ts.metrics.process_memory_metric 模块
  • ts.metrics.system_metrics 模块
  • ts.metrics.unit 模块
  • 模块内容
• ts.model_service 包
  • 子模块
  • ts.model_service.model_service 模块
  • 模块内容
• ts.protocol 包
  • 子模块
  • ts.protocol.otf_message_handler 模块
  • 模块内容
• ts.torch_handler 包
  • 子包
    • ts.torch_handler.request_envelope 包
      • 子模块
      • ts.torch_handler.request_envelope.base 模块
      • ts.torch_handler.request_envelope.body 模块
      • ts.torch_handler.request_envelope.json 模块
      • ts.torch_handler.request_envelope.kserve 模块
      • ts.torch_handler.request_envelope.kservev2 模块
      • 模块内容
    • ts.torch_handler.unit_tests 包
      • 子包
      • 子模块
      • ts.torch_handler.unit_tests.test_base_handler 模块
      • ts.torch_handler.unit_tests.test_envelopes 模块
      • ts.torch_handler.unit_tests.test_image_classifier 模块
      • ts.torch_handler.unit_tests.test_image_segmenter 模块
      • ts.torch_handler.unit_tests.test_mnist_kf 模块
      • ts.torch_handler.unit_tests.test_object_detector 模块
      • 模块内容
  • 子模块
  • ts.torch_handler.base_handler 模块
  • ts.torch_handler.contractions 模块
  • ts.torch_handler.densenet_handler 模块
  • ts.torch_handler.image_classifier 模块
  • ts.torch_handler.image_segmenter 模块
  • ts.torch_handler.object_detector 模块
  • ts.torch_handler.text_classifier 模块
  • ts.torch_handler.text_handler 模块
  • ts.torch_handler.vision_handler 模块
  • 模块内容
• ts.utils 包
  • 子模块
  • ts.utils.timeit_decorator 模块
  • ts.utils.util 模块
  • 模块内容

子模块

ts.arg_parser 模块

此模块解析通过 torchserve 命令行提供的参数。这在运行时由模型服务器使用。

类 ts.arg_parser.ArgParser

基类: object

torchserve 和 torchserve-export 命令的参数解析器。TODO：添加 readme url

static extract_args(args=None)

static model_service_worker_args()

后端 worker 的参数解析器。接受 socket 名称和 socket 类型。:返回

static ts_parser()

torchserve 启动服务的参数解析器

ts.context 模块

传入请求的上下文对象

类 ts.context.Context(model_name, model_dir, manifest, batch_size, gpu, mms_version, limit_max_image_pixels=True, metrics=None, model_yaml_config=None)

基类: object

Context 存储与模型相关的 worker 信息。有些在加载时固定，有些由服务设置

get_all_request_header(idx: int) → Dict[str, str]

get_request_header(idx: int, key: str) → Optional[str]

get_request_id(idx: int = 0) → Optional[str]

get_response_content_type(idx: int) → Optional[str]

get_response_headers(idx: int) → Dict[str, str]

get_response_status(idx: int) → Tuple[int, str]

get_sequence_id(idx: int) → str

属性 metrics

属性 request_processor

set_all_response_status(code: int = 200, phrase: str = '') → None

设置单个请求的状态码 :参数 phrase: :参数 code: :返回

set_response_content_type(idx: int, value: str) → None

set_response_header(idx, key, value)

set_response_status(code: int = 200, phrase: str = '', idx: int = 0)

设置单个请求的状态码 :参数 phrase: :参数 idx: 发送到 handle() 方法的列表 (data) 中的数据索引 :参数 code: :返回

属性 system_properties

类 ts.context.RequestProcessor(request_header: dict)

基类: object

请求处理器

add_response_property(key: str, value: str) → None

get_request_properties() → dict

get_request_property(key: str) → Optional[str]

get_response_header(key: str) → Optional[str]

get_response_headers() → dict

get_response_status_code() → int

get_response_status_phrase() → Optional[str]

report_status(code, reason_phrase=None) → None

ts.model_loader 模块

模型加载器。

类 ts.model_loader.ModelLoader

基类: object

基本模型加载器类。

abstract load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True)

从文件加载模型。

参数:

• model_name –

• model_dir –

• handler –

• gpu_id –

• batch_size –

• envelope –

• limit_max_image_pixels –

返回值:

模型

class ts.model_loader.ModelLoaderFactory

基类: object

static get_model_loader()

class ts.model_loader.TsModelLoader

继承自：ModelLoader

TorchServe 1.0 模型加载器

load(model_name: str, model_dir: str, handler: Optional[str] = None, gpu_id: Optional[int] = None, batch_size: Optional[int] = None, envelope: Optional[str] = None, limit_max_image_pixels: Optional[bool] = True, metrics_cache: Optional[MetricsCacheYamlImpl] = None) → Service

从文件加载 TorchServe 1.0 模型。

参数:

• model_name –

• model_dir –

• handler –

• gpu_id –

• batch_size –

• envelope –

• limit_max_image_pixels –

• metrics_cache – MetricsCacheYamlImpl 对象

返回值:

ts.model_server 模块

定义模型服务器入口点的文件

ts.model_server.load_properties(file_path: str) → Dict[str, str]

将属性文件读入映射。

ts.model_server.start() → None

这是模型服务器的入口点 :return

ts.model_service_worker 模块

ModelServiceWorker 是由 MMS 前端启动的 worker。通信消息格式：二进制编码

class ts.model_service_worker.TorchModelServiceWorker(s_type: Optional[str] = None, s_name: Optional[str] = None, host_addr: Optional[str] = None, port_num: Optional[int] = None, metrics_config: Optional[str] = None, async_comm: Optional[bool] = False)

基类: object

后端 worker，用于处理模型服务器的 python 服务代码

handle_connection(cl_socket)

处理 socket 连接。

参数:

cl_socket –

返回值:

handle_connection_async(cl_socket)

处理 socket 连接。

参数:

cl_socket –

返回值:

load_model(load_model_request)

期望的命令 {

“command” : “load”, 字符串 “modelPath” : “/path/to/model/file”, 字符串 “modelName” : “name”, 字符串 “gpu” : 如果是 CPU 则为 None，否则为 gpu_id，整数 “handler” : 如果提供，则是服务处理程序的入口点，字符串 “envelope” : 如果提供，则是请求数据的封装器/解封装器名称，字符串 “batchSize” : 批量大小，整数 “limitMaxImagePixels”: 限制 pillow 图像的最大像素数，布尔值

}

参数:

load_model_request –

返回值:

run_server()

运行后端 worker 进程并监听 socket :return

ts.service 模块

CustomService 类定义

class ts.service.Service(model_name, model_dir, manifest, entry_point, gpu, batch_size, limit_max_image_pixels=True, metrics_cache=None)

基类: object

自定义 entry_point 的包装器

property context

predict(batch)

PREDICT COMMAND = {

“command”: “predict”, “batch”: [ REQUEST_INPUT ] } :param batch: 请求列表 :return

static retrieve_data_for_inference(batch)

REQUEST_INPUT = {

“requestId” : “111-222-3333”, “parameters” : [ PARAMETER ] } PARAMETER = {

}

“name” : 参数名称 “contentType”: “http-content-types”, “value”: “val1” }

}

参数:

batch –

返回值:

set_cl_socket(cl_socket)

ts.service.emit_metrics(metrics)

参数:

• 发送提供的字典中的指标。

• metrics (一个包含所有指标的字典) –

• metric_name (当键为) –

• object (值是一个指标) –

ts.version 模块

这是 TorchServe 的当前版本。

模块内容

此模块执行以下操作： a. 启动模型服务器。 b. 基于配置的模型创建端点。 c. 暴露标准的“ping”和“api-description”端点。 d. 等待处理推理请求。