ts.torch_handler 包¶
子包¶
- ts.torch_handler.request_envelope 包
- ts.torch_handler.unit_tests 包
- 子包
- 子模块
- ts.torch_handler.unit_tests.test_base_handler 模块
- ts.torch_handler.unit_tests.test_envelopes 模块
- ts.torch_handler.unit_tests.test_image_classifier 模块
- ts.torch_handler.unit_tests.test_image_segmenter 模块
- ts.torch_handler.unit_tests.test_mnist_kf 模块
- ts.torch_handler.unit_tests.test_object_detector 模块
- 模块内容
子模块¶
ts.torch_handler.base_handler 模块¶
加载 torchscript 或 eager 模式 [state_dict] 模型的基本默认处理程序,还提供每个 torch serve 自定义模型规范的处理方法
- class ts.torch_handler.base_handler.BaseHandler[source]¶
基础:
ABC
加载 torchscript 或 eager 模式 [state_dict] 模型的基本默认处理程序,还提供每个 torch serve 自定义模型规范的处理方法
- inference(*args, **kwargs)¶
- initialize(context)[source]¶
- 初始化函数加载 model.pt 文件并初始化模型对象。
首先尝试加载 torchscript,否则加载基于 eager 模式 state_dict 的模型。
- 参数:
context (context) – 这是一个包含信息的 JSON 对象
parameters. (与模型工件相关) –
- 引发:
RuntimeError – 缺少 model.py 时会引发运行时错误
- postprocess(*args, **kwargs)¶
- preprocess(*args, **kwargs)¶
ts.torch_handler.contractions 模块¶
用于文本分类模型的压缩映射。
ts.torch_handler.densenet_handler 模块¶
图像分类默认处理程序的模块
ts.torch_handler.image_classifier 模块¶
图像分类默认处理程序的模块
- class ts.torch_handler.image_classifier.ImageClassifier[source]¶
Bases:
VisionHandler
ImageClassifier 处理器类。 此处理器接收图像并返回图像中对象的名称。
- image_processing = Compose( Resize(size=256, interpolation=bilinear, max_size=None, antialias=True) CenterCrop(size=(224, 224)) ToTensor() Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) )¶
- postprocess(*args, **kwargs)¶
- topk = 5¶
ts.torch_handler.image_segmenter 模块¶
图像分割默认处理器的模块
- class ts.torch_handler.image_segmenter.ImageSegmenter[source]¶
Bases:
VisionHandler
ImageSegmenter 处理器类。 此处理器接收一批图像并返回输出形状为 [N K H W],其中 N - 批次大小,K - 类别数,H - 高度,W - 宽度。
- image_processing = Compose( Resize(size=256, interpolation=bilinear, max_size=None, antialias=True) CenterCrop(size=(224, 224)) ToTensor() Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) )¶
ts.torch_handler.object_detector 模块¶
对象检测默认处理器的模块
- class ts.torch_handler.object_detector.ObjectDetector[source]¶
Bases:
VisionHandler
ObjectDetector 处理器类。 此处理器接收图像并分别返回检测到的类别列表和边界框。
- image_processing = Compose( ToTensor() )¶
- initialize(context)[source]¶
- 初始化函数加载 model.pt 文件并初始化模型对象。
首先尝试加载 torchscript,否则加载基于 eager 模式 state_dict 的模型。
- 参数:
context (context) – 这是一个包含信息的 JSON 对象
parameters. (与模型工件相关) –
- 引发:
RuntimeError – 缺少 model.py 时会引发运行时错误
- threshold = 0.5¶
ts.torch_handler.text_classifier 模块¶
文本分类默认处理器的模块 不支持批处理!
- class ts.torch_handler.text_classifier.TextClassifier[source]¶
Bases:
TextHandler
TextClassifier 处理器类。 此处理器接收文本(字符串)作为输入并返回基于模型词汇表的分类文本。
- inference(data, *args, **kwargs)[source]¶
推理请求是通过此函数发出的,用户需要覆盖推理函数以自定义它。
- 参数:
data (torch 张量) –
数据采用 Torch 张量的形式,其形状应与
模型输入形状。
- 返回值:
- 模型的预测响应将在此函数中返回
在这个函数中。
- 返回类型:
(Torch 张量)
- ngrams = 2¶
ts.torch_handler.text_handler 模块¶
所有基于文本的默认处理程序的基模块。包含各种基于文本的实用程序方法
ts.torch_handler.vision_handler 模块¶
所有视觉处理程序的基模块
- class ts.torch_handler.vision_handler.VisionHandler[source]¶
Bases:
BaseHandler
,ABC
所有视觉处理程序的基类
- initialize(context)[source]¶
- 初始化函数加载 model.pt 文件并初始化模型对象。
首先尝试加载 torchscript,否则加载基于 eager 模式 state_dict 的模型。
- 参数:
context (context) – 这是一个包含信息的 JSON 对象
parameters. (与模型工件相关) –
- 引发:
RuntimeError – 缺少 model.py 时会引发运行时错误
- preprocess(*args, **kwargs)¶