TorchServe 在 Windows 上

本文档内容

• 先决条件

• 从二进制文件安装

• 从源代码安装

先决条件

• 目前，它仅在 Windows Server 2019 上获得认证，但在 Windows 10 上也应该可以正常工作。

• 确保您是管理员用户或具有管理员权限

• 此处提供的说明将使用 Anaconda Powershell 终端安装 torchserve

• 按照此处给出的说明安装 Anaconda

• 按照此处给出的说明安装 Git

• 安装 openjdk17

  • 下载openjdk17

  • 解压缩并编辑/添加环境变量，例如 PATH 和 JAVA_HOME

  • 使用命令行 unzip jdk-17.0.3_windows-x64_bin.zip 或使用 GUI 界面

  • 编辑系统或用户配置文件环境变量 PATH 值，并在其后附加路径 <your-openjdk17-path>\bin

• 安装 nodejs

  • 下载nodejs

  • 安装后，确保 PATH 环境变量中存在 nodejs 和 npm node 模块二进制文件。

  • 如果您的“Anaconda Powershell 提示符”（APP）无法检测到 npm 或 nodejs 命令，则可能需要重新启动 Windows

从二进制文件安装

注意：目前，Windows 的轮子在 PyPi 上不可用。但是，如果您有预构建的 Windows 版 TorchServe 轮子，也可以使用以下步骤。

• 以管理员用户身份启动“Anaconda Powershell 提示符”（APP），即右键单击 APP 并运行以下命令

• git clone https://github.com/pytorch/serve.git

• cd serve

• python .\ts_scripts\install_dependencies.py

• 对于本地轮子文件

  • pip install <your-torchserve-wheel-file-name>.whl

• 对于 PyPi 包（目前不可用）

  • pip install torchserve torch-model-archiver

• 启动 torchserve torchserve.exe --start --model-store <path-to-model-store>

• 有关后续步骤，请参阅提供模型服务

从源代码安装

• 确保系统或用户配置文件环境变量名称 JAVA_HOME 的值为 <your-openjdk17-path> 路径。

• 安装适用于 Visual Studio 2015、2017 和 2019 的 Microsoft Visual C++ 可再发行组件包

  注意：确保在安装上述 Visual C++ 组件后重新启动系统

• 确保 Path 环境变量中存在“nvidia-smi.exe”。通常，它应该位于 <your_install_drive>\Program Files\NVIDIA Corporation\NVSMI 下，例如 C:\Program Files\NVIDIA Corporation\NVSMI，将此路径添加到 Path 环境变量中

• 以管理员用户身份启动“Anaconda Powershell 提示符”（APP），即右键单击 APP 并运行以下命令

• git clone https://github.com/pytorch/serve.git

• pip install click

• cd serve

用于生产环境，请使用以下命令：

• python .\ts_scripts\install_dependencies.py --environment=prod

• python .\ts_scripts\install_from_src.py

用于开发环境，请使用以下命令：

如果您计划使用 TorchServe 进行开发并更改一些源代码，以下命令将有所帮助。install_dependencies 脚本安装了一些额外的依赖项，这些依赖项是开发和测试所必需的。

• python .\ts_scripts\install_dependencies.py --environment=dev

• python .\ts_scripts\install_from_src.py

故障排除

• 如果您是从源代码构建的，则可能需要更改推理、管理和指标 API 的端口号，如 frontend/server/src/test/resources/config.properties 中所指定，frontend/server/src/test/resources/snapshot/* 和 frontend/server/src/main/java/org/pytorch/serve/util/ConfigManager.java 中的所有文件。

• 如果 curl 命令无法执行，请在 APP（Anaconda Powershell 提示符）上运行以下命令 Remove-item alias:curl 有关详细信息，请参阅此SO 答案。