ts.torch_handler.request_envelope 包¶
子模块¶
ts.torch_handler.request_envelope.base 模块¶
所有 RequestEnvelope 的基类。
请求包络重新格式化对处理程序调用的输入/输出。它将 Seldon 或 KServe 等模型协调程序特有的格式转换为一组扁平的 Python 项目，反之亦然。
ts.torch_handler.request_envelope.body 模块¶
所有处理程序的默认类。从请求正文中获取数据。
ts.torch_handler.request_envelope.json 模块¶
使用 JSON 格式的输入/输出，遵循https://tensorflowcn.cn/tfx/serving/api_rest中概述的结构
ts.torch_handler.request_envelope.kserve 模块¶
KServe 包络用于在 Torchserve 中处理 KServe 输入请求。
- class ts.torch_handler.request_envelope.kserve.KServeEnvelope(handle_fn)[source]¶
基类：
BaseEnvelope此函数用于处理以 kserve 格式指定的输入请求，并将其转换为 Torchserve 可读格式。
- 参数：
格式 (data - kserve 中输入请求的列表) –
- 返回值：
返回 Torchserve 格式的输入请求列表
- 返回类型：
[列表]
ts.torch_handler.request_envelope.kservev2 模块¶
KServe 包络用于在 Torchserve 中处理 KServe 输入请求。
- class ts.torch_handler.request_envelope.kservev2.KServev2Envelope(handle_fn)[source]¶
基类：
BaseEnvelope实现。捕获 KServe v2 协议格式中的批次，也以 FServing v2 协议格式返回。
- format_output(data)[source]¶
将 Torchserve 输出转换为 KServe v2 响应格式。
参数：data (list)：处理程序的 Torchserve 响应。
返回值：KServe v2 响应 json。{
“id”: “f0222600-353f-47df-8d9d-c96d96fa894e”, “model_name”: “bert”, “model_version”: “1”, “outputs”: [{
“name”: “input-0”, “shape”: [1], “datatype”: “INT64”, “data”: [2]
}]
}
- parse_input(data)[source]¶
将 KServe 请求输入转换为 Torchserve 期望的数据列表。
参数：data (json)：KServe v2 请求输入 json。{
- “inputs”: [{
“name”: “input-0”, “shape”: [37], “datatype”: “INT64”, “data”: [66, 108, 111, 111, 109]
}]
}
返回值：数据对象的列表。[{ ‘name’: ‘input-0’, ‘shape’: [5], ‘datatype’: ‘INT64’, ‘data’: [66, 108, 111, 111, 109] }]
