Torch-TensorRT

用于 NVIDIA GPU 的 PyTorch 推理代码的框架内编译

Torch-TensorRT 是 PyTorch 的推理编译器，通过 NVIDIA 的 TensorRT 深度学习优化器和运行时，面向 NVIDIA GPU。它支持通过 torch.compile 接口进行即时 (JIT) 编译工作流程，以及提前 (AOT) 工作流程。Torch-TensorRT 无缝集成到 PyTorch 生态系统中，支持优化后的 TensorRT 代码与标准 PyTorch 代码的混合执行。

更多信息 / 系统架构

• Torch-TensorRT 2.0

入门指南

• 安装

用户指南

• Torch-TensorRT 详解

• Torch-TensorRT 的动态形状

• 训练后量化 (PTQ)

• 保存使用 Torch-TensorRT 编译的模型

• 部署 Torch-TensorRT 程序

• DLA

• 使用 Torch-TensorRT 编译混合精度模型

教程

• Torch Compile 高级用法

• 使用 Torch-TensorRT 部署量化模型

• 引擎缓存

• 引擎缓存 (BERT)

• 使用新权重重新拟合 Torch-TensorRT 程序

• 使用 Triton 服务 Torch-TensorRT 模型

• 通过 Cudagraphs 进行 Torch 导出

• 使用自定义转换器重载 Torch-TensorRT 转换器

• 在 TensorRT 引擎中使用带有 Torch-TensorRT 的自定义内核

• 可变 Torch TensorRT 模块

• 权重流式传输

• 预分配输出缓冲区

Dynamo 前端

• 用于 torch.compile 的 TensorRT 后端

• 使用 Torch-TensorRT 编译导出的程序

TorchScript 前端

• 创建 TorchScript 模块

• 在 Python 中使用 Torch-TensorRT

• 在 C++ 中使用 Torch-TensorRT

• 直接从 PyTorch 使用 Torch-TensorRT TorchScript 前端

FX 前端

• Torch-TensorRT (FX 前端) 用户指南

模型动物园

• 使用 torch.compile 后端编译具有动态形状的 ResNet

• 使用 torch.compile 后端编译 BERT

• 使用 torch.compile 后端编译 Stable Diffusion 模型

• 使用 Torch-TensorRT torch.compile 前端编译 GPT2

• 使用 dynamo 后端编译 GPT2

• 使用 dynamo 后端编译 Llama2

• 使用 dynamo 后端编译 SAM2

• 旧版笔记本

Python API 文档

• torch_tensorrt

• torch_tensorrt.dynamo

• torch_tensorrt.logging

• torch_tensorrt.fx

• torch_tensorrt.ts

• torch_tensorrt.ts.ptq

C++ API 文档

• 命名空间 torch_tensorrt

• 命名空间 torch_tensorrt::logging

• 命名空间 torch_tensorrt::ptq

• 命名空间 torch_tensorrt::torchscript

CLI 文档

• torchtrtc

贡献者文档

• 系统概述

• 编写 Dynamo 转换器

• 编写 Dynamo ATen Lowering Passes

• 编写 TorchScript 转换器

• Torch-TensorRT 开发的有用链接

索引

• 支持的运算符

• 索引

• 搜索页面

旧版更多信息 (TorchScript)

• 入门博客文章

• GTC 2020 演讲

• GTC 2020 秋季演讲

• GTC 2021 演讲

• GTC 2021 秋季演讲

• PyTorch 生态系统日 2021

• PyTorch 开发者大会 2021

• PyTorch 开发者大会 2022