Torch-TensorRT

针对 NVIDIA GPU 的 PyTorch 推理代码的框架内编译

Torch-TensorRT 是一个针对 PyTorch 的推理编译器，通过 NVIDIA 的 TensorRT 深度学习优化器和运行时针对 NVIDIA GPU。它支持通过 torch.compile 接口进行的即时 (JIT) 编译工作流，以及提前 (AOT) 工作流。Torch-TensorRT 与 PyTorch 生态系统无缝集成，支持优化后的 TensorRT 代码与标准 PyTorch 代码的混合执行。

更多信息/系统架构

• Torch-TensorRT 2.0

入门

• 安装

用户指南

• Torch-TensorRT 解释

• Torch-TensorRT 的动态形状

• 训练后量化 (PTQ)

• 保存使用 Torch-TensorRT 编译的模型

• 部署 Torch-TensorRT 程序

• DLA

• 使用 Torch-TensorRT 编译混合精度模型

教程

• Torch Compile 高级用法

• 使用 Torch-TensorRT 部署量化模型

• 引擎缓存

• 引擎缓存 (BERT)

• 使用新权重重新拟合 Torch-TensorRT 程序

• 使用 Triton 提供 Torch-TensorRT 模型服务

• 使用 Cudagraphs 导出 Torch

• 使用自定义转换器重载 Torch-TensorRT 转换器

• 使用 Torch-TensorRT 在 TensorRT 引擎中使用自定义内核

• 可变 Torch TensorRT 模块

Dynamo 前端

• TensorRT 后端，用于 torch.compile

• 使用 Torch-TensorRT 编译导出的程序

TorchScript 前端

• 创建 TorchScript 模块

• 在 Python 中使用 Torch-TensorRT

• 在 C++ 中使用 Torch-TensorRT

• 直接从 PyTorch 使用 Torch-TensorRT TorchScript 前端

FX 前端

• Torch-TensorRT (FX 前端) 用户指南

模型库

• 使用 torch.compile 后端编译具有动态形状的 ResNet

• 使用 torch.compile 后端编译 BERT

• 使用 torch.compile 后端编译 Stable Diffusion 模型

• 使用 dynamo 后端编译 GPT2

• 使用 dynamo 后端编译 Llama2

• 旧版笔记本

Python API 文档

• torch_tensorrt

• torch_tensorrt.dynamo

• torch_tensorrt.logging

• torch_tensorrt.fx

• torch_tensorrt.ts

• torch_tensorrt.ts.ptq

C++ API 文档

• 命名空间 torch_tensorrt

• 命名空间 torch_tensorrt::logging

• 命名空间 torch_tensorrt::ptq

• 命名空间 torch_tensorrt::torchscript

CLI 文档

• torchtrtc

贡献者文档

• 系统概述

• 编写 Dynamo 转换器

• 编写 Dynamo ATen 降级传递

• 编写 TorchScript 转换器

• Torch-TensorRT 开发的实用链接

索引

• 支持的操作符

• 索引

• 搜索页面

旧版更多信息 (TorchScript)

• 入门博客文章

• GTC 2020 演讲

• GTC 2020 秋季演讲

• GTC 2021 演讲

• GTC 2021 秋季演讲

• PyTorch 生态系统日 2021

• PyTorch 开发者大会 2021

• PyTorch 开发者大会 2022