ts.torch_handler 包

子包

• ts.torch_handler.request_envelope 包
  • 子模块
  • ts.torch_handler.request_envelope.base 模块
  • ts.torch_handler.request_envelope.body 模块
  • ts.torch_handler.request_envelope.json 模块
  • ts.torch_handler.request_envelope.kserve 模块
  • ts.torch_handler.request_envelope.kservev2 模块
  • 模块内容
• ts.torch_handler.unit_tests 包
  • 子包
    • ts.torch_handler.unit_tests.models 包
      • 子模块
      • ts.torch_handler.unit_tests.models.base_model 模块
      • 模块内容
    • ts.torch_handler.unit_tests.test_utils 包
      • 子模块
      • ts.torch_handler.unit_tests.test_utils.mock_context 模块
      • 模块内容
  • 子模块
  • ts.torch_handler.unit_tests.test_base_handler 模块
  • ts.torch_handler.unit_tests.test_envelopes 模块
  • ts.torch_handler.unit_tests.test_image_classifier 模块
  • ts.torch_handler.unit_tests.test_image_segmenter 模块
  • ts.torch_handler.unit_tests.test_mnist_kf 模块
  • ts.torch_handler.unit_tests.test_object_detector 模块
  • 模块内容

子模块

ts.torch_handler.base_handler 模块

用于加载 torchscript 或 eager 模式 [state_dict] 模型的默认基础处理程序。还为每个 torch serve 自定义模型规范提供 handle 方法

class ts.torch_handler.base_handler.BaseHandler

基类: ABC

用于加载 torchscript 或 eager 模式 [state_dict] 模型的默认基础处理程序。还为每个 torch serve 自定义模型规范提供 handle 方法

describe_handle()

自定义描述处理程序

返回:

字典响应。

返回类型:

dict

explain_handle(data_preprocess, raw_data)

Captum 解释处理程序

参数:

• data_preprocess (Torch Tensor) – 用于 captum 的预处理数据

• raw_data (list) – 从请求中获取目标的未处理数据

返回:

包含解释响应的字典响应。

返回类型:

dict

get_device()

获取设备

返回:

self device

返回类型:

string

handle(data, context)

默认处理程序的入口点。它接收来自输入请求的数据并返回

输入的预测结果。

参数:

• data (list) – 需要进行预测请求的输入数据。

• context (Context) – 这是一个 JSON 对象，包含与模型工件参数相关的信息。

返回:

返回包含预测响应的字典列表。

返回类型:

list

inference(*args, **kwargs)

initialize(context)

Initialize 函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript，否则加载基于 eager 模式 state_dict 的模型。

参数:

• context (context) – 这是一个 JSON 对象，包含信息

• parameters. (与模型工件相关) –

Raises:

RuntimeError – 当 model.py 丢失时引发 RuntimeError

postprocess(*args, **kwargs)

preprocess(*args, **kwargs)

ts.torch_handler.base_handler.setup_ort_session(model_pt_path, map_location)

ts.torch_handler.contractions 模块

用于文本分类模型的缩略词映射。

ts.torch_handler.densenet_handler 模块

用于图像分类默认处理程序的模块

class ts.torch_handler.densenet_handler.DenseNetHandler

基类: object

DenseNetHandler 处理程序类。此处理程序接收图像并返回该图像中对象的名称。

handle(data, context)

默认处理程序的入口点

inference(data, *args, **kwargs)

覆盖以自定义推理 :param data: Torch 张量，与模型输入形状匹配 :return: 预测输出为 Torch 张量

initialize(context)

首先尝试加载 torchscript，否则加载基于 eager 模式 state_dict 的模型

ts.torch_handler.densenet_handler.list_classes_from_module(module, parent_class=None)

解析用户定义的模块以获取其中的所有模型服务类。

参数:

• module –

• parent_class –

返回:

模型服务类定义的列表

ts.torch_handler.image_classifier 模块

用于图像分类默认处理程序的模块

class ts.torch_handler.image_classifier.ImageClassifier

基类: VisionHandler

ImageClassifier 处理程序类。此处理程序接收图像并返回该图像中对象的名称。

get_max_result_classes()

image_processing = Compose(     Resize(size=256, interpolation=bilinear, max_size=None, antialias=True)     CenterCrop(size=(224, 224))     ToTensor()     Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) )

postprocess(*args, **kwargs)

set_max_result_classes(topk)

topk = 5

ts.torch_handler.image_segmenter 模块

用于图像分割默认处理程序的模块

class ts.torch_handler.image_segmenter.ImageSegmenter

基类: VisionHandler

ImageSegmenter 处理程序类。此处理程序接收一批图像，并返回形状为 [N K H W] 的输出，其中 N - 批量大小，K - 类数，H - 高度，W - 宽度。

image_processing = Compose(     Resize(size=256, interpolation=bilinear, max_size=None, antialias=True)     CenterCrop(size=(224, 224))     ToTensor()     Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) )

postprocess(data)

ts.torch_handler.object_detector 模块

用于对象检测默认处理程序的模块

class ts.torch_handler.object_detector.ObjectDetector

基类: VisionHandler

ObjectDetector 处理程序类。此处理程序接收图像，并分别返回检测到的类和边界框的列表

image_processing = Compose(     ToTensor() )

initialize(context)

Initialize 函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript，否则加载基于 eager 模式 state_dict 的模型。

参数:

• context (context) – 这是一个 JSON 对象，包含信息

• parameters. (与模型工件相关) –

Raises:

RuntimeError – 当 model.py 丢失时引发 RuntimeError

postprocess(data)

threshold = 0.5

ts.torch_handler.text_classifier 模块

用于文本分类默认处理程序的模块 不支持批量处理！

class ts.torch_handler.text_classifier.TextClassifier

基类: TextHandler

TextClassifier 处理程序类。此处理程序接收文本（字符串）作为输入，并根据模型词汇表返回分类文本。

get_insights(text_preprocess, _, target=0)

计算 captum insights

参数:

• text_preprocess (tensor) – 文本输入的张量

• _ (str) – 输入请求中指定的原始文本数据

• target (int) – 默认为 0，用户需要为 captum 解释指定目标。

返回:

返回单词标记重要性的字典

返回类型:

(dict)

inference(data, *args, **kwargs)

推理请求通过此函数发出，用户需要覆盖 inference 函数以自定义它。

参数:

data (torch tensor) –

数据采用 Torch 张量的形式，其形状应与

模型输入形状。

返回:

来自模型的预测响应将返回

在此函数中。

返回类型:

(Torch 张量)

ngrams = 2

postprocess(data)

后处理函数将预测响应转换为

Torchserve 兼容格式

参数:

• data (Torch Tensor) – data 参数来自预测输出

• output_explain (None) – 默认为 None。

返回:

返回包含预测和解释的响应

（如果 Endpoint 被命中）。它采用字典列表的形式。

返回类型:

(list)

preprocess(data)

使用以下基本清理操作规范化 PyTorch 模型的输入文本

• 删除 html 标签

• 将所有文本转换为小写

• 展开缩略词 [例如 I’d -> I would, don’t -> do not]

• 删除重音字符

• 删除标点符号

使用 source_vocab 将规范化的文本转换为张量。

参数:

data (str) – 输入数据是字符串形式

返回:

在执行预处理操作后返回文本张量 (str)：原始输入也在此函数中返回

返回类型:

(Tensor)

ts.torch_handler.text_handler 模块

所有基于文本的默认处理程序的基础模块。包含各种基于文本的实用方法

class ts.torch_handler.text_handler.TextHandler

基类: BaseHandler, ABC

所有基于文本的默认处理程序的基础类。包含各种基于文本的实用方法

get_source_vocab_path(ctx)

get_word_token(input_tokens)

从文本构造单词标记

initialize(context)

加载模型并初始化必要的工件

summarize_attributions(attributions)

总结多次运行的归因

ts.torch_handler.vision_handler 模块

所有视觉处理程序的基础模块

class ts.torch_handler.vision_handler.VisionHandler

基类: BaseHandler, ABC

所有视觉处理程序的基类

get_insights(tensor_data, _, target=0)

initialize(context)

Initialize 函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript，否则加载基于 eager 模式 state_dict 的模型。

参数:

• context (context) – 这是一个 JSON 对象，包含信息

• parameters. (与模型工件相关) –

Raises:

RuntimeError – 当 model.py 丢失时引发 RuntimeError

preprocess(*args, **kwargs)

模块内容