构建说明¶
注意:最新的构建说明嵌入在 FBGEMM 存储库中 setup_env.bash 下捆绑的一组脚本中。
构建 FBGEMM_GPU 的一般步骤如下
设置一个隔离的构建环境。
设置工具链。
运行构建脚本。
FBGEMM 要求¶
硬件要求¶
构建和运行 FBGEMM 需要支持 AVX2 指令集或更高版本的 CPU。
通常,FBGEMM 不依赖于 Intel MKL。但是,为了进行性能比较,一些基准测试使用 MKL 函数。如果找到 MKL 或通过 INTEL_MKL_DIR
环境变量提供 MKL 路径,则基准测试将使用 MKL 构建,并将报告 MKL 函数的性能数据。否则,这部分基准测试将不会构建。
软件依赖项¶
所有三个依赖项都通过 FBGEMM 存储库的 Git 子模块提供。但是,如果需要自定义版本,则可以在构建过程中使用环境变量 ASMJIT_SRC_DIR
、CPUINFO_SRC_DIR
和 GOOGLETEST_SOURCE_DIR
设置它们。
asmjit¶
对于内部内核,FBGEMM 采用“一刀切”的方法,因此实现使用名为 asmjit 的第三方库动态生成有效的矩阵形状特定矢量化代码。
cpuinfo¶
FBGEMM 使用 PyTorch 项目提供的 cpuinfo 库在运行时检测 CPU 指令集支持,并为检测到的指令集分派优化的内核。
GoogleTest¶
GoogleTest 是构建和运行 FBGEMM 测试所必需的。但是,如果您不想运行 FBGEMM 测试,则不需要 GoogleTest。测试默认情况下与库一起构建;要关闭此功能,只需设置 FBGEMM_BUILD_TESTS=0
。
设置一个隔离的构建环境¶
按照 设置一个隔离的构建环境 中的说明设置 Conda 环境。
安装构建工具¶
C/C++ 编译器¶
对于 Linux 和 macOS 平台,请按照 C/C++ 编译器 (GCC) 中的说明安装 GCC 工具链。对于基于 Clang 的构建,请按照 C/C++ 编译器 (Clang) 中的说明安装 Clang 工具链。
对于 Windows 机器上的构建,建议使用 Microsoft Visual Studio 2019 或更高版本。请按照 Microsoft 此处 提供的安装说明进行操作。
其他构建工具¶
安装其他必要的构建工具,例如 ninja
、cmake
等
conda install -n ${env_name} -y \
bazel \
cmake \
doxygen \
make \
ninja \
openblas
请注意,bazel
包仅在 Bazel 构建中需要,而 ninja
包仅在 Windows 构建中需要。
构建 FBGEMM 库¶
准备构建¶
克隆存储库及其子模块
# !! Run inside the Conda environment !!
# Clone the repo and its submodules
git clone --recurse-submodules https://github.com/pytorch/FBGEMM.git
cd FBGEMM
在 Linux 和 macOS 上构建 (CMake + GCC)¶
假设 Conda 环境中安装了所有工具,CMake 构建过程很简单
# !! Run inside the Conda environment !!
# Create a build directory
mkdir build
cd build
# Set CMake build arguments
build_args=(
-DUSE_SANITIZER=address
-DFBGEMM_LIBRARY_TYPE=shared
-DPYTHON_EXECUTABLE=`which python3`
# OPTIONAL: Set to generate Doxygen documentation
-DFBGEMM_BUILD_DOCS=ON
)
# Set up the build
cmake ${build_args[@]} ..
# Build the library
make -j VERBOSE=1
# Run all tests
make test
# Install the library
make install
使用 GCC 12+ 的构建问题¶
截至撰写本文时,由于 已知的编译器回归,在 GCC 12+ 上编译 FBGEMM 会失败。要解决此问题,请在运行 CMake 之前追加以下导出
# !! Run inside the Conda environment !!
export CFLAGS+=" -Wno-error=maybe-uninitialized -Wno-error=uninitialized -Wno-error=restrict"
export CXXFLAGS+=" -Wno-error=maybe-uninitialized -Wno-error=uninitialized -Wno-error=restrict"
在 Linux 和 macOS 上构建 (CMake + Clang)¶
使用 Clang 构建 FBGEMM 的步骤与使用 GCC 构建的步骤完全相同。但是,需要将额外的构建参数添加到 CMake 调用以指定 Clang 路径、基于 LLVM 的 C++ 标准库 (libc++
) 以及基于 LLVM 的 OpenMP 实现 (libomp
)
# !! Run inside the Conda environment !!
# Locate Clang
cc_path=$(which clang)
cxx_path=$(which clang++)
# Append to the CMake build arguments
build_args+=(
-DCMAKE_C_COMPILER="${cc_path}"
-DCMAKE_CXX_COMPILER="${cxx_path}"
-DCMAKE_C_FLAGS=\"-fopenmp=libomp -stdlib=libc++ -I $CONDA_PREFIX/include\"
-DCMAKE_CXX_FLAGS=\"-fopenmp=libomp -stdlib=libc++ -I $CONDA_PREFIX/include\"
)
在 Linux 上构建 (Bazel)¶
同样,Bazel 构建也很简单
# !! Run inside the Conda environment !!
# Build the library
bazel build -s :*
# Run all tests
bazel test -s :*
在 Windows 上构建¶
# Specify the target architecture to bc x64
call "C:\Program Files (x86)\Microsoft Visual Studio\2019\Enterprise\VC\Auxiliary\Build\vcvarsall.bat" x64
# Create a build directory
mkdir %BUILD_DIR%
cd %BUILD_DIR%
cmake -G Ninja -DFBGEMM_BUILD_BENCHMARKS=OFF -DFBGEMM_LIBRARY_TYPE=${{ matrix.library-type }} -DCMAKE_BUILD_TYPE=Release -DCMAKE_C_COMPILER="cl.exe" -DCMAKE_CXX_COMPILER="cl.exe" ..
ninja -v all