快捷方式

Backends 最佳实践

x86 CPU

现代 x86 CPU 上的编译工作负载通常通过单指令多数据 (SIMD) 指令集进行优化。SIMD 是一种典型的高性能计算并行处理技术,例如深度学习模型训练和推理。应用 SIMD 后,每个计算单元在任何给定的时隙都使用不同的分配数据执行相同的指令。最常用的 x86 指令集架构 (ISA) 支持 SIMD,包括 AVX、AVX2、AVX-512AMX

您可以使用 collect_env 脚本检查您的机器支持的 ISA。由于该脚本提供了 PyTorch 的完整环境信息,我们可以使用 grep 提取包含 ISA 信息的行

python collect_env.py | grep "a[(v|m)]x"

通常,如果支持 AVX-512,则应观察到以 “avx512” 开头的指令(如 avx512favx512bwavx512_vnni)。如果支持 AMX,则应观察到以 “amx” 开头的指令(如 amx_tileamx_bf16amx_int8)。

特别是,对于启用 AMX 指令的服务器,可以通过利用 AMX 进一步提升工作负载性能。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深度教程

查看教程

资源

查找开发资源并获得您的问题解答

查看资源