Struct Input

• 定义于 文件 torch_tensorrt.h

继承关系

基类

• public CustomClassHolder

Struct 文档

struct Input : public CustomClassHolder

一个用于保存输入范围的结构体（由 TensorRT 优化配置文件使用）

此结构体可以保存单个向量（表示静态输入形状），或者保存一组三个输入形状（表示引擎允许的最小、最佳和最大输入形状）。

公共函数

inline Input()

TORCHTRT_API Input(std::vector<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

从向量构造新的 Input 规范对象，用于静态输入大小，可选参数允许用户配置预期的输入形状张量格式。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• shape – Input 张量形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）向量构造新的 Input 规范对象，用于静态输入大小，可选参数允许用户配置预期的输入形状张量格式 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• shape – Input 张量形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从向量构造新的 Input 规范对象，用于静态输入大小，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – Input 张量形状

• dtype – 输入的预期数据类型（如果可检测到，则默认为第一个张量计算中权重的类型，否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从向量构造新的 Input 规范对象，用于静态输入大小，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – Input 张量形状

• dtype – 输入的预期数据类型（如果可检测到，则默认为第一个张量计算中权重的类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）向量构造新的 Input 规范对象，用于静态输入大小，可选参数允许用户配置预期的输入形状张量格式 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• shape – Input 张量形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）向量构造新的 Input 规范对象，用于静态输入大小，可选参数允许用户配置预期的输入形状张量格式 dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• shape – Input 张量形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）向量构造新的 Input 规范对象，用于静态输入大小，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – Input 张量形状

• dtype – 输入的预期数据类型（如果可检测到，则默认为第一个张量计算中权重的类型，否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）向量构造新的 Input 规范对象，用于静态输入大小，可选参数允许用户配置预期的输入形状张量格式。

参数

• shape – Input 张量形状

• dtype – 输入的预期数据类型（如果可检测到，则默认为第一个张量计算中权重的类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）为最小、最佳和最大支持大小的动态输入大小构造新的 Input 规范对象。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）为最小、最佳和最大支持大小的动态输入大小构造新的 Input 规范对象。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

从向量为最小形状、最佳形状和最大形状支持大小的动态输入大小构造新的 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测到，则默认为第一个张量计算中权重的类型，否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(std::vector<int64_t> min_shape, std::vector<int64_t> opt_shape, std::vector<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从向量为最小形状、最佳形状和最大形状支持大小的动态输入大小构造新的 Input 规范对象，可选参数允许用户配置预期的输入形状张量格式。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测到，则默认为第一个张量计算中权重的类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）为最小、最佳和最大支持大小的动态输入大小构造新的 Input 规范对象。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

从 c10::ArrayRef（tensor.sizes() 生成的类型）为最小、最佳和最大支持大小的动态输入大小构造新的 Input 规范对象。dtype（输入的预期数据类型）默认为 PyTorch / 传统 TRT 约定（FP32 仅用于 FP32，FP16 用于 FP32 和 FP16，FP32 用于 Int8）

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, TensorFormat format = TensorFormat::kContiguous)

构造一个新的 Input 规范对象，从 c10::ArrayRef (由 tensor.sizes() 生成的类型) 获取动态输入尺寸，用于最小、最佳和最大支持尺寸。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测到，则默认为第一个张量计算中权重的类型，否则为 Float32）

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(c10::ArrayRef<int64_t> min_shape, c10::ArrayRef<int64_t> opt_shape, c10::ArrayRef<int64_t> max_shape, DataType dtype, std::vector<double> tensor_domain, TensorFormat format = TensorFormat::kContiguous)

构造一个新的 Input 规范对象，从 c10::ArrayRef (由 tensor.sizes() 生成的类型) 获取动态输入尺寸，用于最小、最佳和最大支持尺寸。

参数

• min_shape – 输入张量的最小形状

• opt_shape – 输入张量的目标优化形状

• max_shape – 输入张量的最大可接受形状

• dtype – 输入的预期数据类型（如果可检测到，则默认为第一个张量计算中权重的类型，否则为 Float32）

• tensor_domain – 张量输入的允许范围 [low, high)

• format – 输入的预期张量格式（默认为 contiguous）

TORCHTRT_API Input(at::Tensor tensor)

构造一个新的 Input 规范对象，使用 torch 张量作为示例。张量的形状、类型和布局会告知规范的值。

注意：您无法通过此方法设置动态形状，您必须使用替代构造函数

参数

tensor – 用于设置形状、类型和布局的参考张量

公有成员

std::vector<int64_t> min_shape

引擎可接受的最小输入尺寸。

std::vector<int64_t> opt_shape

引擎的最佳输入尺寸（为给定内核优化的尺寸，接受最小最大范围内的任何尺寸）

std::vector<int64_t> max_shape

引擎可接受的最大输入尺寸。

std::vector<int64_t> shape

要馈送到 TensorRT 的 Input 形状，在动态形状的情况下，-1 将占据可变维度的位置

DataType dtype

输入的预期数据类型。

TensorFormat format

输入的预期张量格式。

std::vector<double> tensor_domain

张量输入的预期允许域。