请求信封¶
许多模型服务系统为请求体提供签名。示例包括
数据科学家使用这些多框架系统来管理许多不同模型的部署，这些模型可能使用不同的语言和框架编写。这些平台在模型服务之上提供额外的分析，包括偏差检测、解释和 A/B 测试。这些平台需要结构良好的签名，以便标准化跨不同框架的调用并理解输入数据。为了简化对许多框架的支持，这些平台将简单地将请求体传递给底层模型服务器。
Torchserve 当前没有固定的请求体签名。信封允许您自动从模型编排器所需的固定签名转换为扁平 Python 列表。
用法¶
当您编写处理程序时，始终期望一个包含数据的纯 Python 列表，这些数据已准备好进入
preprocess。至关重要的是，您应该假设您的处理程序代码在本地或在您的模型编排器中看起来相同。当您在模型编排器后面部署 Torchserve 时，请确保在您的
config.properties文件中设置相应的service_envelope。例如，如果您正在使用具有 JSON 格式的 Google Cloud AI Platform，您需要在您的config.properties文件中添加service_envelope=json。
贡献¶
在 ts/torch_handler/request_envelope 下添加新文件。每个文件仅包含一个类。在 config.properties 中使用的键将是您编写类的 .py 文件的名称。
