torch.compiler¶
torch.compiler 是一个命名空间，用于向用户暴露一些内部编译器方法。此命名空间中的主要函数和特性是 torch.compile。
torch.compile 是 PyTorch 2.x 中引入的一个 PyTorch 函数，旨在解决 PyTorch 中图捕获的准确性问题，并最终使软件工程师能够更快地运行其 PyTorch 程序。torch.compile 使用 Python 编写，标志着 PyTorch 从 C++ 向 Python 的过渡。
torch.compile 利用以下底层技术：
TorchDynamo (torch._dynamo) 是一个内部 API，它利用 CPython 的一个名为 Frame Evaluation API 的特性来安全地捕获 PyTorch 图。通过
torch.compiler命名空间向 PyTorch 用户外部暴露了可用方法。TorchInductor 是默认的
torch.compile深度学习编译器，可以为多种加速器和后端生成快速代码。你需要使用后端编译器才能通过torch.compile实现加速。对于 NVIDIA、AMD 和 Intel GPU，它利用 OpenAI Triton 作为关键构建块。AOT Autograd 不仅捕获用户级代码，还捕获反向传播，从而实现“提前”捕获反向传递。这使得可以使用 TorchInductor 加速前向和后向传递。
注意
在某些情况下，本文档可能会互换使用 torch.compile、TorchDynamo、torch.compiler 这些术语。
如上所述，为了更快地运行你的工作流程，通过 TorchDynamo 使用 torch.compile 需要一个后端，将捕获的图转换为快速的机器码。不同的后端可以带来各种优化增益。默认后端称为 TorchInductor，也称为 inductor。TorchDynamo 有一份由我们的合作伙伴开发的受支持后端列表，可以通过运行 torch.compiler.list_backends() 查看，每个后端都有其可选依赖项。
一些最常用的后端包括：
训练和推理后端
后端 |
描述 |
|---|---|
|
使用 TorchInductor 后端。了解更多 |
|
使用 AOT Autograd 的 CUDA 图。了解更多 |
|
在 CPU 上使用 IPEX。了解更多 |
|
使用 ONNX Runtime 在 CPU/GPU 上进行训练。了解更多 |
仅推理后端
后端 |
描述 |
|---|---|
|
使用 Torch-TensorRT 进行推理优化。需要在调用脚本中 |
|
在 CPU 上使用 IPEX 进行推理。了解更多 |
|
使用 Apache TVM 进行推理优化。了解更多 |
|
使用 OpenVINO 进行推理优化。了解更多 |
