Torch-TensorRT¶
针对 NVIDIA GPU 的 PyTorch 推理代码的框架内编译¶
Torch-TensorRT 是一个 PyTorch 推理编译器,通过 NVIDIA 的 TensorRT 深度学习优化器和运行时针对 NVIDIA GPU。它支持通过 torch.compile
接口的即时 (JIT) 编译工作流以及提前 (AOT) 工作流。Torch-TensorRT 与 PyTorch 生态系统无缝集成,支持优化后的 TensorRT 代码与标准 PyTorch 代码的混合执行。
更多信息/系统架构