⚠️ 注意：有限维护

本项目已不再积极维护。虽然现有版本仍然可用，但没有计划进行更新、错误修复、新功能开发或安全补丁。用户应注意，潜在漏洞可能不会得到解决。

TorchServe 默认推理处理器

TorchServe 提供以下开箱即用的推理处理器。预计每个处理器使用的模型都支持批量推理。

图像分类器

• 描述：处理在 ImageNet 数据集上训练的图像分类模型。

• 输入：RGB 图像

• 输出：图像的前 5 个预测结果及其相应概率的批次

更多详情请参阅示例

图像分割器

• 描述：处理在 ImageNet 数据集上训练的图像分割模型。

• 输入：RGB 图像

• 输出：输出形状为 [N, CL H W]，N - 批量大小，CL - 类别数量，H - 高度，W - 宽度。

更多详情请参阅示例

目标检测器

• 描述：处理目标检测模型。

• 输入：RGB 图像

• 输出：检测到的类别列表和边界框列表的批次

注意：我们建议运行 torchvision>0.6，否则 object_detector 默认处理器将仅在默认 GPU 设备上运行

更多详情请参阅示例

文本分类器

• 描述：处理在 AG_NEWS 数据集上训练的模型。

• 输入：文本文件

• 输出：输入文本的类别。（不支持批量处理）

更多详情请参阅示例

有关可用处理器的更全面列表，请务必查阅示例页面

常见特性

index_to_name.json

image_classifier、text_classifier 和 object_detector 都可以自动将数字类别（0,1,2…）映射到易读的字符串。为此，只需在您的模型存档中包含一个文件 index_to_name.json，其中包含从类别编号（字符串）到易读名称（也是字符串）的映射。您可以在此处查看一些示例

• 图像分类器

• 文本分类器

• 目标检测器

贡献

我们欢迎新的贡献处理器，如果现有默认处理器未涵盖您的用例，请按照以下步骤进行贡献

1. 编写一个派生自BaseHandler 的新类。将其作为单独文件添加到 ts/torch_handler/ 中

2. 更新 model-archiver/model_packaging.py 以添加您的类名

3. 运行并更新unit_tests 中的单元测试。一如既往，在提交前务必运行torchserve_sanity.py。