在 Windows 上构建 Torch-TensorRT¶
Torch-TensorRT 使用 CMake 为 Windows 平台提供社区支持
先决条件
Microsoft VS 2022 工具
Bazelisk
CUDA
构建步骤¶
打开“用于 VS 2022 的 x64 本机工具命令提示符”应用程序 - 请注意,可能需要管理员权限
确保 Bazelisk (Bazel 启动器) 安装在您的机器上,并且可以从命令行访问。可以使用 Chocolatey 等软件包安装程序安装 Bazelisk
安装最新版本的 Torch(例如,使用 pip install –pre torch –index-url https://download.pytorch.org/whl/nightly/cu124)
克隆 Torch-TensorRT 存储库并导航到其根目录
运行 pip install ninja wheel setuptools
运行 pip install –pre -r py/requirements.txt
运行 set DISTUTILS_USE_SDK=1
运行 python setup.py bdist_wheel
运行 pip install dist/*.whl
高级设置和故障排除¶
在 WORKSPACE 文件中,cuda_win、libtorch_win 和 tensorrt_win 是 Windows 特定的模块,可以对其进行自定义。例如,如果您想使用不同版本的 CUDA 构建,或者您的 CUDA 安装在非标准位置,请更新 cuda_win 模块中的 path。
类似地,如果您想使用不同版本的 pytorch 或 tensorrt,请分别自定义 libtorch_win 和 tensorrt_win 模块中的 urls。
这些软件包的本地版本也可以在 Windows 上使用。请参阅 toolchainsci_workspacesWORKSPACE.win.release.tmpl,了解在 Windows 上使用 TensorRT 的本地版本的示例。