Torch-TensorRT

在框架内为 NVIDIA GPU 编译 PyTorch 推理代码

Torch-TensorRT 是一个用于 PyTorch 的推理编译器，通过 NVIDIA 的 TensorRT 深度学习优化器和运行时库，面向 NVIDIA GPU。它通过 torch.compile 接口支持即时 (JIT) 编译工作流程，也支持预先 (AOT) 编译工作流程。Torch-TensorRT 无缝集成到 PyTorch 生态系统中，支持将优化的 TensorRT 代码与标准 PyTorch 代码混合执行。

更多信息 / 系统架构

• Torch-TensorRT 2.0

入门

• 安装

用户指南

• Torch-TensorRT 解析

• 使用 Torch-TensorRT 处理动态形状

• 训练后量化 (PTQ)

• 保存使用 Torch-TensorRT 编译的模型

• 部署 Torch-TensorRT 程序

• DLA

• 使用 Torch-TensorRT 编译混合精度模型

教程

• Torch Compile 高级用法

• 使用 Torch-TensorRT 部署量化模型

• 引擎缓存

• 引擎缓存 (BERT)

• 使用新权重 Refit Torch-TensorRT 程序

• 使用 Triton 部署 Torch-TensorRT 模型服务

• 使用 Cudagraphs 进行 Torch Export

• 使用自定义 Converter 覆盖 Torch-TensorRT Converter

• 在 Torch-TensorRT 中使用 TensorRT Engine 内的自定义 Kernel

• 自动为自定义 Kernel 生成 Converter

• 自动为自定义 Kernel 生成 Plugin

• 可变 (Mutable) Torch TensorRT 模块

• 权重流 (Weight Streaming)

• 预分配输出缓冲区

Dynamo 前端

• torch.compile 的 TensorRT 后端

• 使用 Torch-TensorRT 编译 Exported 程序

TorchScript 前端

• 创建 TorchScript 模块

• 在 Python 中使用 Torch-TensorRT

• 在 C++ 中使用 Torch-TensorRT

• 直接从 PyTorch 使用 Torch-TensorRT TorchScript 前端

FX 前端

• Torch-TensorRT (FX 前端) 用户指南

模型库

• 使用 torch.compile 后端编译具有动态形状的 ResNet

• 使用 torch.compile 后端编译 BERT

• 使用 torch.compile 后端编译 Stable Diffusion 模型

• 使用 Torch-TensorRT torch.compile 前端编译 GPT2

• 使用 dynamo 后端编译 GPT2

• 使用 dynamo 后端编译 Llama2

• 使用 dynamo 后端编译 SAM2

• 使用 Torch-TensorRT dynamo 后端编译 FLUX.1-dev 模型

• 遗留 Notebooks

Python API 文档

• torch_tensorrt

• torch_tensorrt.dynamo

• torch_tensorrt.logging

• torch_tensorrt.fx

• torch_tensorrt.ts

• torch_tensorrt.ts.ptq

C++ API 文档

• 命名空间 torch_tensorrt

• 命名空间 torch_tensorrt::logging

• 命名空间 torch_tensorrt::ptq

• 命名空间 torch_tensorrt::torchscript

CLI 文档

• torchtrtc

贡献者文档

• 系统概览

• 编写 Dynamo Converter

• 编写 Dynamo ATen Lowering Pass

• 编写 TorchScript Converter

• Torch-TensorRT 开发有用链接

索引

• 支持的算子

• 索引

• 搜索页面

遗留附加信息 (TorchScript)

• 入门博客文章

• GTC 2020 演讲

• GTC 2020 秋季演讲

• GTC 2021 演讲

• GTC 2021 秋季演讲

• PyTorch 生态系统日 2021

• PyTorch 开发者大会 2021

• PyTorch 开发者大会 2022