快捷方式

ts.torch_handler 包

子包

子模块

ts.torch_handler.base_handler 模块

加载 torchscript 或 eager 模式 [state_dict] 模型的基本默认处理程序,还提供每个 torch serve 自定义模型规范的处理方法

class ts.torch_handler.base_handler.BaseHandler[source]

基础: ABC

加载 torchscript 或 eager 模式 [state_dict] 模型的基本默认处理程序,还提供每个 torch serve 自定义模型规范的处理方法

describe_handle()[source]

自定义描述处理程序

返回值:

字典响应。

返回类型:

dict

explain_handle(data_preprocess, raw_data)[source]

Captum 解释处理程序

参数:
  • data_preprocess (Torch 张量) – 用于 captum 的预处理数据

  • raw_data (list) – 用于从请求获取目标的未处理数据

返回值:

包含解释响应的字典响应。

返回类型:

dict

get_device()[source]

获取设备

返回值:

self 设备

返回类型:

字符串

handle(data, context)[source]
默认处理程序的入口点。它接收来自输入请求的数据,并返回

输入的预测结果。

参数:
  • data (list) – 需要对其进行预测请求的输入数据。

  • context (Context) – 这是一个 JSON 对象,包含与模型工件参数相关的的信息。

返回值:

返回包含预测响应的字典列表。

返回类型:

list

inference(*args, **kwargs)
initialize(context)[source]
初始化函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript,否则加载基于 eager 模式 state_dict 的模型。

参数:
  • context (context) – 这是一个包含信息的 JSON 对象

  • parameters. (与模型工件相关) –

引发:

RuntimeError – 缺少 model.py 时会引发运行时错误

postprocess(*args, **kwargs)
preprocess(*args, **kwargs)
ts.torch_handler.base_handler.setup_ort_session(model_pt_path, map_location)[source]

ts.torch_handler.contractions 模块

用于文本分类模型的压缩映射。

ts.torch_handler.densenet_handler 模块

图像分类默认处理程序的模块

class ts.torch_handler.densenet_handler.DenseNetHandler[source]

Bases: object

DenseNetHandler 处理器类。 此处理器接收图像并返回图像中对象的名称。

handle(data, context)[source]

默认处理器的入口点

inference(data, *args, **kwargs)[source]

覆盖以自定义推理 :param data: 与模型输入形状匹配的 Torch 张量 :return: 预测输出作为 Torch 张量

initialize(context)[source]

首先尝试加载 torchscript,否则加载急切模式 state_dict 驱动的模型

ts.torch_handler.densenet_handler.list_classes_from_module(module, parent_class=None)[source]

解析用户定义的模块以获取其中的所有模型服务类。

参数:
  • module

  • parent_class

返回值:

模型服务类定义列表

ts.torch_handler.image_classifier 模块

图像分类默认处理程序的模块

class ts.torch_handler.image_classifier.ImageClassifier[source]

Bases: VisionHandler

ImageClassifier 处理器类。 此处理器接收图像并返回图像中对象的名称。

get_max_result_classes()[source]
image_processing = Compose(     Resize(size=256, interpolation=bilinear, max_size=None, antialias=True)     CenterCrop(size=(224, 224))     ToTensor()     Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) )
postprocess(*args, **kwargs)
set_max_result_classes(topk)[source]
topk = 5

ts.torch_handler.image_segmenter 模块

图像分割默认处理器的模块

class ts.torch_handler.image_segmenter.ImageSegmenter[source]

Bases: VisionHandler

ImageSegmenter 处理器类。 此处理器接收一批图像并返回输出形状为 [N K H W],其中 N - 批次大小,K - 类别数,H - 高度,W - 宽度。

image_processing = Compose(     Resize(size=256, interpolation=bilinear, max_size=None, antialias=True)     CenterCrop(size=(224, 224))     ToTensor()     Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) )
postprocess(data)[source]

ts.torch_handler.object_detector 模块

对象检测默认处理器的模块

class ts.torch_handler.object_detector.ObjectDetector[source]

Bases: VisionHandler

ObjectDetector 处理器类。 此处理器接收图像并分别返回检测到的类别列表和边界框。

image_processing = Compose(     ToTensor() )
initialize(context)[source]
初始化函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript,否则加载基于 eager 模式 state_dict 的模型。

参数:
  • context (context) – 这是一个包含信息的 JSON 对象

  • parameters. (与模型工件相关) –

引发:

RuntimeError – 缺少 model.py 时会引发运行时错误

postprocess(data)[source]
threshold = 0.5

ts.torch_handler.text_classifier 模块

文本分类默认处理器的模块 不支持批处理!

class ts.torch_handler.text_classifier.TextClassifier[source]

Bases: TextHandler

TextClassifier 处理器类。 此处理器接收文本(字符串)作为输入并返回基于模型词汇表的分类文本。

get_insights(text_preprocess, _, target=0)[source]

计算 captum 洞察力

参数:
  • text_preprocess (tensor) – 文本输入的张量

  • _ (str) – 输入请求中指定的原始文本数据

  • target (int) – 默认为 0,用户需要为 captum 解释指定目标。

返回值:

返回单词标记重要性的字典

返回类型:

(dict)

inference(data, *args, **kwargs)[source]

推理请求是通过此函数发出的,用户需要覆盖推理函数以自定义它。

参数:

data (torch 张量) –

数据采用 Torch 张量的形式,其形状应与

模型输入形状。

返回值:

模型的预测响应将在此函数中返回

在这个函数中。

返回类型:

(Torch 张量)

ngrams = 2
postprocess(data)[source]
后处理函数将预测响应转换为

Torchserve兼容格式

参数:
  • data (Torch Tensor) – 数据参数来自预测输出

  • output_explain (None) – 默认值为None。

返回值:

返回包含预测和解释的响应

(如果命中端点)。它采用字典列表的形式。

返回类型:

(list)

preprocess(data)[source]
使用以下基本清理操作对 PyTorch 模型进行输入文本规范化
  • 删除 HTML 标签

  • 将所有文本转换为小写

  • 扩展缩写词 [如 I’d -> I would, don’t -> do not]

  • 删除重音字符

  • 删除标点符号

使用 source_vocab 将规范化的文本转换为张量。

参数:

data (str) – 输入数据以字符串形式提供

返回值:

在执行预处理操作后返回文本张量 (str):此函数还返回原始输入

返回类型:

(Tensor)

ts.torch_handler.text_handler 模块

所有基于文本的默认处理程序的基模块。包含各种基于文本的实用程序方法

class ts.torch_handler.text_handler.TextHandler[source]

Bases: BaseHandler, ABC

所有基于文本的默认处理程序的基类。包含各种基于文本的实用程序方法

get_source_vocab_path(ctx)[source]
get_word_token(input_tokens)[source]

从文本构建词标记

initialize(context)[source]

加载模型并初始化必要的工件

summarize_attributions(attributions)[source]

总结多个运行的归因

ts.torch_handler.vision_handler 模块

所有视觉处理程序的基模块

class ts.torch_handler.vision_handler.VisionHandler[source]

Bases: BaseHandler, ABC

所有视觉处理程序的基类

get_insights(tensor_data, _, target=0)[source]
initialize(context)[source]
初始化函数加载 model.pt 文件并初始化模型对象。

首先尝试加载 torchscript,否则加载基于 eager 模式 state_dict 的模型。

参数:
  • context (context) – 这是一个包含信息的 JSON 对象

  • parameters. (与模型工件相关) –

引发:

RuntimeError – 缺少 model.py 时会引发运行时错误

preprocess(*args, **kwargs)

模块内容

文档

访问 PyTorch 的综合开发者文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源