TorchServe 默认推理处理器

TorchServe 提供以下开箱即用的推理处理器。预计每个处理器支持的模型都能够进行批量推理。

图像分类器

• 描述：处理在 ImageNet 数据集上训练的图像分类模型。

• 输入：RGB 图像

• 输出：图像的前 5 个预测及其相应的概率的批次

有关更多详细信息，请参阅 示例

图像分割器

• 描述：处理在 ImageNet 数据集上训练的图像分割模型。

• 输入：RGB 图像

• 输出：输出形状为 [N, CL H W]，N - 批次大小，CL - 类别数，H - 高度和 W - 宽度。

有关更多详细信息，请参阅 示例

目标检测器

• 描述：处理目标检测模型。

• 输入：RGB 图像

• 输出：检测到的类别和边界框列表的批次

注意：我们建议运行 torchvision>0.6，否则 object_detector 默认处理器将仅在默认 GPU 设备上运行

有关更多详细信息，请参阅 示例

文本分类器

• 描述：处理在 AG_NEWS 数据集上训练的模型。

• 输入：文本文件

• 输出：输入文本的类别。（不支持批处理）

有关更多详细信息，请参阅 示例

有关可用处理器的更完整列表，请务必查看 示例页面

通用功能

index_to_name.json

image_classifier、text_classifier 和 object_detector 都可以自动将数字类别 (0,1,2…) 映射到友好的字符串。为此，只需在模型归档文件中包含一个文件 index_to_name.json，其中包含类别编号（作为字符串）到友好名称（也作为字符串）的映射。您可以在此处查看一些示例

• 图像分类器

• 文本分类器

• 目标检测器

贡献

我们欢迎新的贡献处理器，如果您的用例未被现有默认处理器之一涵盖，请按照以下步骤进行贡献

1. 编写一个从 BaseHandler 派生的新类。将其作为单独的文件添加到 ts/torch_handler/ 中

2. 更新 model-archiver/model_packaging.py 以添加您的类名

3. 运行并更新 单元测试 中的单元测试。与往常一样，请确保在提交之前运行 torchserve_sanity.py。