ts.torch_handler.request_envelope 包¶
子模块¶
ts.torch_handler.request_envelope.base 模块¶
所有请求封装的基类。
请求封装会重新格式化调用处理器的输入/输出。它将 Seldon 或 KServe 等模型编排器特定的格式转换为一组扁平的 Python 项目，反之亦然。
ts.torch_handler.request_envelope.body 模块¶
所有处理器的默认类。从请求体中获取数据。
ts.torch_handler.request_envelope.json 模块¶
使用 JSON 格式的输入/输出，遵循 https://tensorflowcn.cn/tfx/serving/api_rest 中概述的结构
ts.torch_handler.request_envelope.kserve 模块¶
KServe Envelope 用于处理 Torchserve 内的 KServe 输入请求。
- class ts.torch_handler.request_envelope.kserve.KServeEnvelope(handle_fn)[source]¶
基类：
BaseEnvelope此函数用于处理以 kserve 格式指定的输入请求，并将其转换为 Torchserve 可读格式。
- 参数：
格式 (data - 以 kserve 格式表示的输入请求列表) –
- 返回：
返回 Torchserve 格式的输入请求列表
- 返回类型：
[
list]
ts.torch_handler.request_envelope.kservev2 模块¶
KServe Envelope 用于处理 Torchserve 内的 KServe 输入请求。
- class ts.torch_handler.request_envelope.kservev2.KServev2Envelope(handle_fn)[source]¶
基类：
BaseEnvelope实现。以 KServe v2 协议格式捕获批次，也以 KServe v2 协议格式返回。
- format_output(data)[source]¶
将 Torchserve 输出转换为 KServe v2 响应格式。
参数： data (list): Torchserve 对处理器的响应。
返回： KServe v2 响应 json。{
“id”: “f0222600-353f-47df-8d9d-c96d96fa894e”, “model_name”: “bert”, “model_version”: “1”, “outputs”: [{
“name”: “input-0”, “shape”: [1], “datatype”: “INT64”, “data”: [2]
}]
}
- }]
将 KServe 请求输入转换为 Torchserve 所需的数据列表。
参数： data (json): KServe v2 请求输入 json。{
- “inputs”: [{
“name”: “input-0”, “shape”: [37], “datatype”: “INT64”, “data”: [66, 108, 111, 111, 109]
}]
}
}] Returns: list of data objects. [{ ‘name’: ‘input-0’, ‘shape’: [5], ‘datatype’: ‘INT64’, ‘data’: [66, 108, 111, 111, 109] }]
