TorchServe 默认推理处理器

TorchServe 提供了以下开箱即用的推理处理器。预计每个处理器所使用的模型都支持批量推理。

image_classifier

• 描述：处理在 ImageNet 数据集上训练的图像分类模型。

• 输入：RGB 图像

• 输出：图像的前 5 个预测及其各自概率的批次

有关更多详细信息，请参阅示例

image_segmenter

• 描述：处理在 ImageNet 数据集上训练的图像分割模型。

• 输入：RGB 图像

• 输出：输出形状为 [N, CL H W]，其中 N - 批次大小，CL - 类别数量，H - 高度，W - 宽度。

有关更多详细信息，请参阅示例

object_detector

• 描述：处理对象检测模型。

• 输入：RGB 图像

• 输出：检测到的类别和边界框的批次列表

注意：我们建议运行 torchvision>0.6，否则 object_detector 默认处理器将仅在默认 GPU 设备上运行

有关更多详细信息，请参阅示例

text_classifier

• 描述：处理在 AG_NEWS 数据集上训练的模型。

• 输入：文本文件

• 输出：输入文本的类别。（不支持批量处理）

有关更多详细信息，请参阅示例

有关可用处理器的更全面列表，请务必查看示例页面

常用功能

index_to_name.json

image_classifier、text_classifier 和 object_detector 都可以自动从数字类别 (0,1,2…) 映射到友好的字符串。为此，只需在您的模型存档中包含一个文件 index_to_name.json，其中包含类别编号（作为字符串）到友好名称（也作为字符串）的映射。您可以在此处查看一些示例

• image_classifier

• text_classifier

• object_detector

贡献

我们欢迎新的贡献处理器，如果您的用例未包含在现有默认处理器之一中，请按照以下步骤进行贡献

1. 编写一个从 BaseHandler 派生的新类。将其作为单独的文件添加到 ts/torch_handler/ 中

2. 更新 model-archiver/model_packaging.py 以添加您的类名

3. 在 unit_tests 中运行并更新单元测试。与往常一样，请确保在提交之前运行 torchserve_sanity.py。