FBGEMM

FBGEMM (Facebook 通用矩阵乘法) 是一个用于服务器端推理的低精度、高性能矩阵-矩阵乘法和卷积库。该库用作 PyTorch 在 x86 机器上的量化算子的后端。

FBGEMM 开发

• 构建说明
  • FBGEMM 要求
  • 设置独立构建环境
  • 安装构建工具
  • 构建 FBGEMM 库

FBGEMM C++ API

• 量化实用工具
  • 参考实现方法
  • AVX-2 实现方法
  • AVX-512 实现方法
• TBE CPU 自动矢量化
  • FP8/16/32 自动矢量化实现方法