概述¶
JetPack 6.1¶
Nvida JetPack 6.1 是 JetPack 6 的最新生产版本。在此版本中，它包含：CUDA 12.6 TensorRT 10.3 cuDNN 9.3 DLFW 24.09
您可以找到有关 JetPack 6.1 的更多详细信息
先决条件¶
确保您的 Jetson 开发套件已使用最新的 JetPack 6.1 刷新。您可以找到有关如何通过 sdk-manager 刷新 Jetson 板的更多详细信息
使用以下命令检查当前 JetPack 版本
apt show nvidia-jetpack
确保您已安装 JetPack 开发组件。如果您需要在 Jetson 板上构建，则需要执行此步骤。
您只能安装所需的开发组件：例如，tensorrt-dev 将是所有 TRT 开发的元包，或者安装所有内容。
确保您已安装 cuda 12.6（这应该会从 nvidia-jetpack 自动安装）
# check the cuda version
nvcc --version
# if not installed or the version is not 12.6, install via the below cmd:
sudo apt-get update
sudo apt-get install cuda-toolkit-12-6
确保 libcusparseLt.so 存在于 /usr/local/cuda/lib64/ 中
# if not exist, download and copy to the directory
wget https://developer.download.nvidia.com/compute/cusparselt/redist/libcusparse_lt/linux-sbsa/libcusparse_lt-linux-sbsa-0.5.2.1-archive.tar.xz
tar xf libcusparse_lt-linux-sbsa-0.5.2.1-archive.tar.xz
sudo cp -a libcusparse_lt-linux-sbsa-0.5.2.1-archive/include/* /usr/local/cuda/include/
sudo cp -a libcusparse_lt-linux-sbsa-0.5.2.1-archive/lib/* /usr/local/cuda/lib64/
构建 torch_tensorrt¶
安装 bazel
wget -v https://github.com/bazelbuild/bazelisk/releases/download/v1.20.0/bazelisk-linux-arm64
sudo mv bazelisk-linux-arm64 /usr/bin/bazel
chmod +x /usr/bin/bazel
- 安装 pip 和所需的 Python 包
# install pip
wget https://bootstrap.pypa.io/get-pip.py
python get-pip.py
# install pytorch from nvidia jetson distribution: https://developer.download.nvidia.com/compute/redist/jp/v61/pytorch
python -m pip install torch https://developer.download.nvidia.com/compute/redist/jp/v61/pytorch/torch-2.5.0a0+872d972e41.nv24.08.17622132-cp310-cp310-linux_aarch64.whl
# install required python packages
python -m pip install -r toolchains/jp_workspaces/requirements.txt
# if you want to run the test cases, then install the test required python packages
python -m pip install -r toolchains/jp_workspaces/test_requirements.txt
构建并安装 torch_tensorrt wheel 文件
由于 torch_tensorrt 版本依赖于 torch 版本。JetPack6.1 支持的 torch 版本来自 DLFW 24.08/24.09（torch 2.5.0）。
请确保从源代码 release/2.5 分支构建 torch_tensorrt wheel 文件（待办事项：lanl 在 release/ngc 分支可用后更新分支名称）
cuda_version=$(nvcc --version | grep Cuda | grep release | cut -d ',' -f 2 | sed -e 's/ release //g')
export TORCH_INSTALL_PATH=$(python -c "import torch, os; print(os.path.dirname(torch.__file__))")
export SITE_PACKAGE_PATH=${TORCH_INSTALL_PATH::-6}
export CUDA_HOME=/usr/local/cuda-${cuda_version}/
# replace the MODULE.bazel with the jetpack one
cat toolchains/jp_workspaces/MODULE.bazel.tmpl | envsubst > MODULE.bazel
# build and install torch_tensorrt wheel file
python setup.py --use-cxx11-abi install --user
