快捷方式

Torch-TensorRT

针对 NVIDIA GPU 的 PyTorch 推理代码的框架内编译

Torch-TensorRT 是一个 PyTorch 推理编译器,通过 NVIDIA 的 TensorRT 深度学习优化器和运行时针对 NVIDIA GPU。它支持通过 torch.compile 接口的即时 (JIT) 编译工作流以及提前 (AOT) 工作流。Torch-TensorRT 与 PyTorch 生态系统无缝集成,支持优化后的 TensorRT 代码与标准 PyTorch 代码的混合执行。

更多信息/系统架构

入门

用户指南

Dynamo 前端

TorchScript 前端

FX 前端

教程

Python API 文档

C++ API 文档

CLI 文档

贡献者文档

索引

遗留信息 (TorchScript)

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源