快捷方式

故障排除指南

请参阅本节,了解使用 Torchserve 部署 Pytorch 模型时遇到的常见问题及其相应的故障排除步骤。

部署和配置问题

“无法绑定到地址:http://127.0.0.1:8080”,端口 8080/8081 正在使用。

通常,端口号 8080/8081 已经被其他应用程序或服务使用,可以使用 cmd ss -ntl | grep 8080 进行验证。 有两种方法可以解决此问题,要么终止正在使用端口 8080/8081 的进程,要么在除 8080 和 8081 之外的其他端口上运行 Torchserve。

有关更多详细信息,请参阅configuration.md

相关问题:[542]

启动 Torchserve 时出现“java.lang.NoSuchMethodError”。[473]

此错误通常发生在未安装或使用 Java 17 时。Torchserve 需要 Java 17,不支持旧版本的 Java。

相关问题:[#473]

无法发送大型文件进行推理请求?

默认的最大请求大小和响应大小约为 6.5 Mb。因此,任何大于 6.5mb 的文件都无法上传。要解决此问题,请在 config.properties 文件中更新 max_request_sizemax_response_size,并使用此配置文件启动 torchserve。

$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties

您也可以使用环境变量来设置这些值。有关更多详细信息,请参阅configuration.md。相关问题:[#335]

模型归档器

如何添加模型特定的自定义依赖项?

您可以在创建 mar 文件时使用 --extra-files 标志添加您的依赖项文件。这些依赖项文件可以是任何类型,例如 zip、egg、json 等。您可能需要编写一个自定义处理程序来根据需要使用这些文件。

相关问题:[#566]

如何解决模型特定的 Python 依赖项?

在使用“–requirements-file/ -r”标志创建 mar 文件时,您可以提供一个 requirements.txt 文件。您可以参考 waveglow 文本转语音合成器 示例。

相关问题:[#566] 请参考 Torch 模型归档器 cli 以获取更多详细信息。

我在我的 mar 文件中添加了 requirements.txt,但列出的包没有被安装。

默认情况下,模型特定的自定义 Python 包功能是禁用的,可以通过将 install_py_dep_per_model 设置为 true 来启用此功能。请参考 允许模型特定的自定义 Python 包 以获取更多详细信息。

后端工作程序监控线程中断或后端工作程序进程死亡错误。

此问题主要发生在模型初始化失败时,这可能是由于处理程序的 initialize 函数中存在错误代码导致的。当缺少包/模块时也会观察到此错误。

相关问题:[#667, #537]

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源