⚠️ 注意：有限维护

该项目不再积极维护。现有版本仍可使用，但没有计划的更新、错误修复、新功能或安全补丁。用户应注意，可能不会解决漏洞问题。

请求信封

许多模型服务系统为请求体提供签名。例如：

• Seldon

• KServe

• Google Cloud AI Platform

数据科学家使用这些多框架系统来管理许多不同模型的部署，这些模型可能用不同的语言和框架编写。这些平台在模型服务之外提供额外的分析功能，包括偏差检测、解释和 A/B 测试。这些平台需要一个结构良好的签名，以便标准化跨不同框架的调用并理解输入数据。然而，为了简化对许多框架的支持，这些平台只会将请求体直接传递给底层的模型服务器。

TorchServe 目前没有固定的请求体签名。信封允许您自动将模型编排器所需的固定签名转换为扁平的 Python 列表。

用法

1. 编写处理程序时，始终应期望一个包含准备好输入 preprocess 的数据的普通 Python 列表。至关重要的是，您应假设您的处理程序代码在本地或模型编排器中看起来是相同的。

2. 在模型编排器后面部署 TorchServe 时，请务必在 config.properties 文件中设置相应的 service_envelope。例如，如果您使用具有 JSON 格式的 Google Cloud AI Platform，则需要在 config.properties 文件中添加 service_envelope=json。

贡献

在 ts/torch_handler/request_envelope 下添加新文件。每个文件只包含一个类。在 config.properties 中使用的键将是您编写类的 .py 文件的名称。