快捷方式

故障排除指南

请参阅本节,了解在使用 Torchserve 部署 Pytorch 模型时遇到的常见问题及其相应的故障排除步骤。

部署和配置问题

“无法绑定到地址:http://127.0.0.1:8080”,端口 8080/8081 已在使用中。

通常,端口号 8080/8081 已被其他应用程序或服务使用,可以使用 cmd ss -ntl | grep 8080 进行验证。有两种方法可以解决此问题,要么终止正在使用端口 8080/8081 的进程,要么在 8080 和 8081 以外的其他端口上运行 Torchserve。

有关更多详细信息,请参阅 configuration.md

相关问题:[542]

启动 Torchserve 时出现“java.lang.NoSuchMethodError”。[473]

当未安装或未使用 Java 17 时,通常会发生此错误。Torchserve 需要 Java 17,并且不支持旧版本的 Java。

相关问题:[#473]

无法发送大文件进行推理请求?

默认的最大请求大小和响应大小约为 6.5 Mb。因此,任何大于 6.5mb 的文件大小都无法上传。要解决此问题,请在 config.properties 文件中更新 max_request_sizemax_response_size,并使用此配置文件启动 torchserve。

$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties

您还可以使用环境变量来设置这些值。有关更多详细信息,请参阅 configuration.md。相关问题:[#335]

模型归档器

如何添加模型特定的自定义依赖项?

您可以在创建 mar 文件时使用 --extra-files 标志添加您的依赖项文件。这些依赖项文件可以是任何类型,例如 zip、egg、json 等。您可能需要编写自定义处理程序才能根据需要使用这些文件。

相关问题:[#566]

如何解决模型特定的 python 依赖项?

您可以使用“–requirements-file/ -r”标志在创建 mar 文件时提供 requirements.txt。您可以参考 waveglow 文本到语音合成器 示例

相关问题:[#566] 有关更多详细信息,请参阅 Torch 模型归档器 cli

我已在 mar 文件中添加了 requirements.txt,但列出的软件包未安装。

默认情况下,模型特定的自定义 python 软件包功能已禁用,通过将 install_py_dep_per_model 设置为 true 来启用此功能。有关更多详细信息,请参阅 允许模型特定的自定义 python 软件包

后端工作进程监控线程中断或后端工作进程死机错误。

当模型无法初始化时,通常会发生此问题,这可能是由于处理程序的 initialize 函数中的代码错误所致。当缺少软件包/模块时,也会观察到此错误。

相关问题:[#667, #537]

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题解答

查看资源