故障排除指南¶
请参阅本节,了解使用 Torchserve 部署 Pytorch 模型时遇到的常见问题及其相应的故障排除步骤。
部署和配置问题¶
“无法绑定到地址:http://127.0.0.1:8080
”,端口 8080/8081 正在使用。¶
通常,端口号 8080/8081 已经被其他应用程序或服务使用,可以使用 cmd ss -ntl | grep 8080
进行验证。 有两种方法可以解决此问题,要么终止正在使用端口 8080/8081 的进程,要么在除 8080 和 8081 之外的其他端口上运行 Torchserve。
有关更多详细信息,请参阅configuration.md。
相关问题:[542]
启动 Torchserve 时出现“java.lang.NoSuchMethodError”。[473]¶
此错误通常发生在未安装或使用 Java 17 时。Torchserve 需要 Java 17,不支持旧版本的 Java。
相关问题:[#473]
无法发送大型文件进行推理请求?¶
默认的最大请求大小和响应大小约为 6.5 Mb。因此,任何大于 6.5mb 的文件都无法上传。要解决此问题,请在 config.properties 文件中更新 max_request_size
和 max_response_size
,并使用此配置文件启动 torchserve。
$ cat config.properties
max_request_size=<request size in bytes>
max_response_size=<response size in bytes>
$ torchserve --start --model-store model_store --ts-config /path/to/config.properties
您也可以使用环境变量来设置这些值。有关更多详细信息,请参阅configuration.md。相关问题:[#335]
模型归档器¶
如何添加模型特定的自定义依赖项?¶
您可以在创建 mar 文件时使用 --extra-files
标志添加您的依赖项文件。这些依赖项文件可以是任何类型,例如 zip、egg、json 等。您可能需要编写一个自定义处理程序来根据需要使用这些文件。
相关问题:[#566]
如何解决模型特定的 Python 依赖项?¶
在使用“–requirements-file/ -r”标志创建 mar 文件时,您可以提供一个 requirements.txt 文件。您可以参考 waveglow 文本转语音合成器 示例。
相关问题:[#566] 请参考 Torch 模型归档器 cli 以获取更多详细信息。
我在我的 mar 文件中添加了 requirements.txt,但列出的包没有被安装。¶
默认情况下,模型特定的自定义 Python 包功能是禁用的,可以通过将 install_py_dep_per_model 设置为 true 来启用此功能。请参考 允许模型特定的自定义 Python 包 以获取更多详细信息。
后端工作程序监控线程中断或后端工作程序进程死亡错误。¶
此问题主要发生在模型初始化失败时,这可能是由于处理程序的 initialize 函数中存在错误代码导致的。当缺少包/模块时也会观察到此错误。