安装说明

注意：最新的安装说明包含在 FBGEMM 仓库 setup_env.bash 下捆绑的一组脚本中。

安装 FBGEMM GenAI 的一般步骤如下

1. 设置隔离的运行时环境。

2. 为纯 CPU、CUDA 或 ROCm 运行时设置工具链。

3. 安装 PyTorch。

4. 安装 FBGEMM GenAI 包。

5. 运行安装后检查。

在安装 FBGEMM GenAI 之前，请查阅 FBGEMM 版本兼容性表，确保您使用的必要硬件和软件与您计划安装的 FBGEMM GenAI 版本兼容。

设置运行时环境

按照说明设置运行时环境

1. 设置 CUDA 环境

2. 安装 Python 库

3. 安装 PyTorch

4. 安装 Triton

安装 FBGEMM GenAI 包

通过 PyTorch PIP 安装

PyTorch PIP 是安装 FBGEMM GenAI 的首选渠道

# !! Run inside the Conda environment !!

# CUDA Nightly
pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu126/
pip install --pre fbgemm-genai --index-url https://download.pytorch.org/whl/nightly/cu126/

# CUDA Release
pip install torch --index-url https://download.pytorch.org/whl/cu126/
pip install fbgemm-genai --index-url https://download.pytorch.org/whl/cu126/

# Test the installation
python -c "import torch; import fbgemm_gpu.experimental.gen_ai"

通过公共 PyPI 安装

# !! Run inside the Conda environment !!

# CUDA Nightly
pip install fbgemm-gpu-nightly-genai

# CUDA Release
pip install fbgemm-gpu-genai

安装后检查

安装后，运行导入测试以确保库已正确链接和设置。

# !! Run inside the Conda environment !!

python -c "import torch; import fbgemm_gpu.experimental.gen_ai; print(torch.ops.fbgemm.quantize_fp8_per_row)"

有关其他安装后检查的信息，请参阅安装后检查。