Torch-TensorRT 教程¶
用户指南介绍了 Torch-TensorRT 的基本概念和用法。我们还提供了一些教程来探索特定的用例和高级概念
Dynamo / torch.compile¶
Torch-TensorRT 为 PyTorch 2.0 中发布的新 torch.compile API 提供了后端。在以下示例中，我们将介绍利用此后端来加速推理的几种方法。
使用 Torch-TensorRT torch.compile 后端编译 ResNet: 使用
torch_tensorrt.compile的 Torch Compile 前端编译 ResNet 模型使用 torch.compile 和 TensorRT 编译 Transformer: 使用
torch.compile编译 Transformer 模型Torch Compile 高级用法: 高级用法，包括创建自定义后端以直接与
torch.compileAPI 一起使用Torch Compile Stable Diffusion: 使用
torch.compile编译 Stable Diffusion 模型Torch 导出与 Cudagraphs: 使用 ir=”dynamo” 与 Cudagraphs 集成
在 Torch-TensorRT 中使用 TensorRT 引擎中的自定义内核: 创建一个插件来在 TensorRT 引擎中使用自定义内核
使用 Torch-TensorRT 重新调整 TensorRT 图模块: 使用更新的权重重新调整已编译的 TensorRT 图模块
使用 Torch-TensorRT 部署量化模型: 使用
torch.compile编译具有 FP8 和 PTQ 的 VGG16 模型
