Dynamo / `torch.compile`¶

Torch-TensorRT 为 PyTorch 2.0 中发布的全新 torch.compile API 提供后端。在以下示例中，我们将介绍一些利用此后端加速推理的方法。

使用 Torch-TensorRT torch.compile 后端编译 ResNet: 使用 Torch Compile 前端为 torch_tensorrt.compile 编译 ResNet 模型
使用 torch.compile 和 TensorRT 编译 Transformer: 使用 torch.compile 编译 Transformer 模型
Torch Compile 高级用法: 高级用法，包括创建自定义后端以直接与 torch.compile API 一起使用
Torch Compile 稳定扩散: 使用 torch.compile 编译稳定扩散模型
使用 Cudagraphs 导出 Torch: 将 Cudagraphs 集成与 ir=”dynamo” 一起使用
在使用 Torch-TensorRT 的 TensorRT 引擎中使用自定义内核: 创建插件以在 TensorRT 引擎中使用自定义内核
使用 Torch-TensorRT 重新拟合 TensorRT 图模块: 使用更新的权重重新拟合已编译的 TensorRT 图模块
使用 Torch-TensorRT 部署量化模型: 使用 torch.compile 编译具有 FP8 和 PTQ 的 VGG16 模型