Input 结构体

• 定义于 文件 torch_tensorrt.h

继承关系

基类

• public CustomClassHolder

结构体文档

struct Input : public CustomClassHolder

用于保存输入范围的结构体 (由 TensorRT 优化配置文件使用)

此结构体可以保存表示输入形状的单个向量，表示静态输入形状；或保存一组三个输入形状，表示引擎允许的最小、最优和最大输入形状。

公共函数

inline Input()

TORCHTRT_API Input(std::vector<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（仅限 FP32 的输入使用 FP32，FP32 和 FP16 都支持时使用 FP16，Int8 使用 FP32）

参数

• shape – 输入张量形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型)、向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（仅限 FP32 的输入使用 FP32，FP32 和 FP16 都支持时使用 FP16，Int8 使用 FP32）

参数

• shape – 输入张量形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – 输入张量形状

• dtype – 输入的预期数据类型（如果可检测，默认为第一个张量计算中权重的类型，否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – 输入张量形状

• dtype – 输入的预期数据类型（如果可检测，默认为第一个张量计算中权重的类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型)、向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（仅限 FP32 的输入使用 FP32，FP32 和 FP16 都支持时使用 FP16，Int8 使用 FP32）

参数

• shape – 输入张量形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型)、向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（仅限 FP32 的输入使用 FP32，FP32 和 FP16 都支持时使用 FP16，Int8 使用 FP32）

参数

• shape – 输入张量形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型) 和向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – 输入张量形状

• dtype – 输入的预期数据类型（如果可检测，默认为第一个张量计算中权重的类型，否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型) 和向量构造用于静态输入大小的新 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – 输入张量形状

• dtype – 输入的预期数据类型（如果可检测，默认为第一个张量计算中权重的类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型) 构造用于动态输入大小的新 Input 规范对象，适用于 min、opt 和 max 支持的大小。 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（仅限 FP32 的输入使用 FP32，FP32 和 FP16 都支持时使用 FP16，Int8 使用 FP32）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型) 构造用于动态输入大小的新 Input 规范对象，适用于 min、opt 和 max 支持的大小。 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（仅限 FP32 的输入使用 FP32，FP32 和 FP16 都支持时使用 FP16，Int8 使用 FP32）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于动态输入大小的新 Input 规范对象，适用于最小形状、最优形状和最大形状支持的大小，可选参数允许用户配置预期的输入形状张量格式。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测，默认为第一个张量计算中权重的类型，否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从向量构造用于动态输入大小的新 Input 规范对象，适用于最小形状、最优形状和最大形状支持的大小，可选参数允许用户配置预期的输入形状张量格式。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测，默认为第一个张量计算中权重的类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型) 构造用于动态输入大小的新 Input 规范对象，适用于 min、opt 和 max 支持的大小。 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（仅限 FP32 的输入使用 FP32，FP32 和 FP16 都支持时使用 FP16，Int8 使用 FP32）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef (tensor.sizes() 生成的类型) 构造用于动态输入大小的新 Input 规范对象，适用于 min、opt 和 max 支持的大小。 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（仅限 FP32 的输入使用 FP32，FP32 和 FP16 都支持时使用 FP16，Int8 使用 FP32）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

构建一个新的 Input 规格对象，用于根据 c10::ArrayRef（由 tensor.sizes() 生成的类型）为最小、最优和最大支持尺寸指定动态输入大小。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测，默认为第一个张量计算中权重的类型，否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

构建一个新的 Input 规格对象，用于根据 c10::ArrayRef（由 tensor.sizes() 生成的类型）为最小、最优和最大支持尺寸指定动态输入大小。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测，默认为第一个张量计算中权重的类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(at::Tensor tensor)

使用一个 torch 张量作为示例，构建一个新的 Input 规格对象。该张量的形状、类型和布局决定了该规格的值。

注意：您无法通过此方法设置动态形状，必须使用其他构造函数。

参数

tensor – 用于设置形状、类型和布局的参考张量。

公共成员

std::vector<int64_t> min_shape

引擎可接受的最小输入尺寸。

std::vector<int64_t> opt_shape

引擎的最优输入尺寸（针对给定内核优化的尺寸，在最小到最大范围内可接受任何尺寸）。

std::vector<int64_t> max_shape

引擎可接受的最大输入尺寸。

std::vector<int64_t> shape

要馈送到 TensorRT 的输入形状，在动态形状的情况下，-1 将代表可变维度。

DataType dtype

输入的预期数据类型。

TensorFormat format

输入的预期张量格式。

std::vector<double> tensor_domain

张量输入的预期允许域。