快捷方式

⚠️ 通知:有限维护

此项目不再积极维护。虽然现有版本仍然可用,但没有计划中的更新、错误修复、新功能或安全补丁。用户应注意,漏洞可能不会得到解决。

故障排除指南

本节介绍了使用 TorchServe 部署 PyTorch 模型时遇到的常见问题及其相应的故障排除步骤。

部署和配置问题

“无法绑定到地址: http://127.0.0.1:8080”,端口 8080/8081 已被占用。

通常,端口号 8080/8081 已被其他应用程序或服务使用,可以使用命令 ss -ntl | grep 8080 进行验证。解决此问题有两种方法:杀死使用端口 8080/8081 的进程,或者在 8080 和 8081 以外的其他端口上运行 TorchServe。

有关更多详细信息,请参阅 configuration.md

相关问题:[542]

启动 TorchServe 时出现“java.lang.NoSuchMethodError”。[473]

此错误通常在未安装或未使用 Java 17 时发生。TorchServe 需要 Java 17,不支持旧版本的 Java。

相关问题:[#473]

无法发送大文件进行推理请求?

默认的最大请求大小和响应大小约为 6.5 Mb。因此,任何大于 6.5MB 的文件都无法上传。要解决此问题,请在 config.properties 文件中更新 max_request_sizemax_response_size,并使用此配置文件启动 TorchServe。

$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties

您还可以使用环境变量设置这些值。有关更多详细信息,请参阅 configuration.md。相关问题:[#335]

Model-archiver

如何添加模型特定的自定义依赖项?

在创建 mar 文件时,可以使用 --extra-files 标志添加您的依赖文件。这些依赖文件可以是任何类型,如 zip、egg、json 等。您可能需要编写自定义处理程序来按需使用这些文件。

相关问题:[#566]

如何解决模型特定的 Python 依赖项?

在创建 mar 文件时,可以使用 “--requirements-file / -r” 标志提供 requirements.txt 文件。您可以参考 waveglow 文本转语音合成器示例

相关问题:[#566] 有关更多详细信息,请参阅 Torch model archiver cli

我已在 mar 文件中添加了 requirements.txt,但列出的包未被安装。

默认情况下,模型特定的自定义 Python 包功能是禁用的,通过将 install_py_dep_per_model 设置为 true 来启用此功能。有关更多详细信息,请参阅 允许模型特定的自定义 Python 包

后端工作线程监控线程中断或后端工作线程进程死亡错误。

此问题主要发生在模型初始化失败时,这可能是由于处理程序的初始化函数中代码错误引起的。当缺少包/模块时,也会观察到此错误。

相关问题:[#667, #537]

文档

查阅 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得解答

查看资源