结构 CompileSpec

• 定义在 文件 torch_tensorrt.h

结构文档

struct CompileSpec

Torch-TensorRT TorchScript 编译的设置数据结构

公有函数

TORCHTRT_API CompileSpec(std::vector<std::vector<int64_t>> fixed_sizes)

构造一个新的 Compile Spec 对象 便利构造函数，用于从描述输入张量大小的向量设置固定输入大小。向量中的每个条目代表一个输入，应按调用顺序提供。

当所有输入都具有静态大小并且您对默认输入数据类型和格式（FP32 对应 FP32 和 INT8 权重，FP16 对应 FP16 权重，连续）感到满意时，可以使用此构造函数作为便利方法。

参数

fixed_sizes –

TORCHTRT_API CompileSpec(std::vector<c10::ArrayRef<int64_t>> fixed_sizes)

构造一个新的 Compile Spec 对象 便利构造函数，用于从 c10::ArrayRef（tensor.sizes() 的输出）设置固定输入大小，这些 c10::ArrayRef 描述输入张量的大小。向量中的每个条目代表一个输入，应按调用顺序提供。

当所有输入都具有静态大小并且您对默认输入数据类型和格式（FP32 对应 FP32 和 INT8 权重，FP16 对应 FP16 权重，连续）感到满意时，可以使用此构造函数作为便利方法。

参数

fixed_sizes –

TORCHTRT_API CompileSpec(std::vector<Input> inputs)

从输入范围构造一个新的 Compile Spec 对象。向量中的每个条目代表一个输入，应按调用顺序提供。

使用此构造函数定义具有动态形状、特定输入类型或张量格式的输入

参数

inputs –

TORCHTRT_API CompileSpec(torch::jit::IValue input_signature)

从表示模块输入张量嵌套的 IValue 构造一个新的 Compile Spec 对象。

参数

input_signature –

公有成员

GraphInputs graph_inputs

引擎输入的规范，可以存储一个 IValue，其中存储了复杂的 Input 或扁平化的 Input。

std::set<DataType> enabled_precisions = {DataType::kFloat}

TensorRT 在编译期间允许用于内核的一组精度。

bool disable_tf32 = false

阻止 Float32 层使用 TF32 数据格式

TF32 通过将输入舍入到 10 位尾数然后相乘来计算内积，但使用 23 位尾数累加和。这是 FP32 层的默认行为。

bool sparse_weights = false

为卷积层和全连接层的权重启用稀疏性

bool refit = false

构建可重校准引擎

bool debug = false

构建可调试引擎

bool truncate_long_and_double = false

将 long/double 类型截断为 int/float 类型

bool allow_shape_tensors = false

允许图中存在形状张量（来自 IShape 层）

Device device

目标 Device

EngineCapability capability = EngineCapability::kSTANDARD

设置引擎的限制（CUDA 安全性）

uint64_t num_avg_timing_iters = 1

用于选择内核的平均计时迭代次数

uint64_t workspace_size = 0

提供给 TensorRT 的工作区最大大小

uint64_t dla_sram_size = 1048576

DLA 用于在层内通信的快速软件管理 RAM。

uint64_t dla_local_dram_size = 1073741824

DLA 用于跨操作共享中间张量数据的宿主 RAM

uint64_t dla_global_dram_size = 536870912

DLA 用于存储权重和执行元数据的宿主 RAM

nvinfer1::IInt8Calibrator *ptq_calibrator = nullptr

每个输入的校准数据加载器，用于训练后量化

bool require_full_compilation = false

要求将整个模块编译到 TensorRT，而不是在 PyTorch 中可能运行不受支持的操作

uint64_t min_block_size = 3

要将子图编译到 TensorRT 的连续受支持运算符的最小数量

std::vector<std::string> torch_executed_ops

必须在 PyTorch 中运行的 aten 运算符列表。如果此列表不为空但 require_full_compilation 为 True，则会抛出错误

std::vector<std::string> torch_executed_modules

必须在 PyTorch 中运行的模块列表。如果此列表不为空但 require_full_compilation 为 True，则会抛出错误