快捷方式

torch

torch 包包含多维张量的数据结构,并定义了针对这些张量的数学运算。此外,它还提供了许多用于高效序列化张量和任意类型的实用工具,以及其他有用的工具。

它有一个对应的 CUDA 部分,使你能够在计算能力 >= 3.0 的 NVIDIA GPU 上运行张量计算。

张量

is_tensor

如果 obj 是 PyTorch 张量,则返回 True。

is_storage

如果 obj 是 PyTorch 存储对象,则返回 True。

is_complex

如果 input 的数据类型是复数数据类型,即 torch.complex64torch.complex128 之一,则返回 True。

is_conj

如果 input 是共轭张量,即其共轭位设置为 True,则返回 True。

is_floating_point

如果 input 的数据类型是浮点数据类型,即 torch.float64torch.float32torch.float16torch.bfloat16 之一,则返回 True。

is_nonzero

如果 input 是一个单元素张量,并且在类型转换后不等于零,则返回 True。

set_default_dtype

将默认浮点 dtype 设置为 d

get_default_dtype

获取当前默认浮点 torch.dtype

set_default_device

将默认的 torch.Tensor 分配到 device 上。

get_default_device

获取默认的 torch.Tensor 分配到 device 上。

set_default_tensor_type

numel

返回 input 张量中的元素总数。

set_printoptions

设置打印选项。

set_flush_denormal

在 CPU 上禁用非规范化浮点数。

创建操作

注意

随机采样创建操作列在随机采样下,包括:torch.rand() torch.rand_like() torch.randn() torch.randn_like() torch.randint() torch.randint_like() torch.randperm() 您也可以将 torch.empty()原地随机采样方法一起使用,创建从更广泛的分布中采样值的 torch.Tensor

tensor

通过复制 data 构造一个没有自动求导历史记录的张量(也称为“叶子张量”,参见自动求导机制)。

sparse_coo_tensor

构造一个 COO(坐标)格式的稀疏张量,并在给定 indices 处指定值。

sparse_csr_tensor

构造一个 CSR(压缩稀疏行)格式的稀疏张量,并在给定 crow_indicescol_indices 处指定值。

sparse_csc_tensor

构造一个 CSC(压缩稀疏列)格式的稀疏张量,并在给定 ccol_indicesrow_indices 处指定值。

sparse_bsr_tensor

构造一个 BSR(块压缩稀疏行)格式的稀疏张量,并在给定 crow_indicescol_indices 处指定 2 维块。

sparse_bsc_tensor

构造一个 BSC(块压缩稀疏列)格式的稀疏张量,并在给定 ccol_indicesrow_indices 处指定 2 维块。

asarray

obj 转换为张量。

as_tensor

data 转换为张量,如果可能,共享数据并保留自动求导历史记录。

as_strided

创建现有 torch.Tensor input 的视图,并指定 sizestridestorage_offset

from_file

创建一个 CPU 张量,其存储由内存映射文件支持。

from_numpy

numpy.ndarray 创建一个 Tensor

from_dlpack

将来自外部库的张量转换为 torch.Tensor

frombuffer

从实现 Python 缓冲区协议的对象创建一个 1 维 Tensor

zeros

返回一个填充了标量值 0 的张量,其形状由可变参数 size 定义。

zeros_like

返回一个填充了标量值 0 的张量,其大小与 input 相同。

ones

返回一个填充了标量值 1 的张量,其形状由可变参数 size 定义。

ones_like

返回一个填充了标量值 1 的张量,其大小与 input 相同。

arange

返回一个大小为 endstartstep\left\lceil \frac{\text{end} - \text{start}}{\text{step}} \right\rceil 的 1 维张量,其值取自区间 [start, end),以 start 为起点,以 step 为公差。

range

返回一个大小为 endstartstep+1\left\lfloor \frac{\text{end} - \text{start}}{\text{step}} \right\rfloor + 1 的 1 维张量,其值从 startend,步长为 step

linspace

创建一个大小为 steps 的一维张量,其值在 startend(包含)之间均匀分布。

logspace

创建一个大小为 steps 的一维张量,其值在对数尺度下从 basestart{{\text{{base}}}}^{{\text{{start}}}}baseend{{\text{{base}}}}^{{\text{{end}}}}(包含)之间均匀分布,对数底数为 base

eye

返回一个对角线为一、其他位置为零的二维张量。

empty

返回一个填充了未初始化数据的张量。

empty_like

返回一个大小与 input 相同的未初始化张量。

empty_strided

创建一个具有指定 sizestride 并填充了未定义数据的张量。

full

创建一个大小为 size 并填充了 fill_value 的张量。

full_like

返回一个大小与 input 相同并填充了 fill_value 的张量。

quantize_per_tensor

将浮点张量转换为具有给定比例和零点的量化张量。

quantize_per_channel

将浮点张量转换为具有给定比例和零点的每通道量化张量。

dequantize

通过对量化张量进行反量化,返回一个 fp32 张量。

complex

构造一个复数张量,其实部等于 real,虚部等于 imag

polar

构造一个复数张量,其元素是笛卡尔坐标,对应于极坐标,其中绝对值为 abs,角度为 angle

heaviside

计算 input 中每个元素的 Heaviside 阶跃函数。

索引、切片、连接、变异操作

adjoint

返回一个共轭且最后两个维度转置的张量视图。

argwhere

返回一个包含 input 中所有非零元素索引的张量。

cat

在给定维度上连接 tensors 中的张量序列。

concat

torch.cat() 的别名。

concatenate

torch.cat() 的别名。

conj

返回 input 的视图,其共轭位已翻转。

chunk

尝试将张量分割成指定数量的块。

dsplit

根据 indices_or_sections,将具有三个或更多维度的张量 input 沿深度方向分割成多个张量。

column_stack

通过水平堆叠 tensors 中的张量创建一个新张量。

dstack

按顺序沿深度方向(沿第三轴)堆叠张量。

gather

沿 dim 指定的轴收集值。

hsplit

根据 indices_or_sections,将具有一个或多个维度的张量 input 水平分割成多个张量。

hstack

按顺序水平(按列)堆叠张量。

index_add

请参阅 index_add_() 获取函数描述。

index_copy

请参阅 index_add_() 获取函数描述。

index_reduce

请参阅 index_reduce_() 获取函数描述。

index_select

返回一个新张量,它使用 index 中的条目(LongTensor 类型)沿维度 diminput 张量进行索引。

masked_select

返回一个新的一维张量,它根据布尔掩码 maskBoolTensor 类型)对 input 张量进行索引。

movedim

input 中位于 source 位置的维度移动到 destination 位置。

moveaxis

torch.movedim() 的别名。

narrow

返回一个新张量,它是 input 张量的窄化版本。

narrow_copy

Tensor.narrow() 相同,但返回的是副本而非共享存储。

nonzero

permute

返回原始张量 input 的视图,其维度已置换。

reshape

返回一个与 input 具有相同数据和元素数量,但具有指定形状的张量。

row_stack

torch.vstack() 的别名。

select

沿指定维度在给定索引处对 input 张量进行切片。

scatter

torch.Tensor.scatter_() 的非原地 (out-of-place) 版本

diagonal_scatter

src 张量的值沿 input 的对角线元素嵌入到 input 中,对应于 dim1dim2

select_scatter

src 张量的值在给定索引处嵌入到 input 中。

slice_scatter

src 张量的值在给定维度处嵌入到 input 中。

scatter_add

torch.Tensor.scatter_add_() 的非原地 (out-of-place) 版本

scatter_reduce

torch.Tensor.scatter_reduce_() 的非原地 (out-of-place) 版本

split

将张量分割成块。

squeeze

返回一个张量,其中 input 中所有指定大小为 1 的维度都被移除。

stack

沿一个新维度连接一系列张量。

swapaxes

torch.transpose() 的别名。

swapdims

torch.transpose() 的别名。

t

要求 input 是一个 <= 2 维张量,并转置维度 0 和 1。

take

返回一个新张量,其中包含 input 在给定索引处的元素。

take_along_dim

沿给定 diminput 中根据 indices 中的一维索引选择值。

tensor_split

将张量 input 沿维度 dim 根据由 indices_or_sections 指定的索引或段数分割成多个子张量,所有子张量都是 input 的视图。

tile

通过重复 input 的元素构造一个张量。

transpose

返回 input 的转置版本张量。

unbind

移除一个张量维度。

unravel_index

将一个平面索引张量转换为一个坐标张量元组,该元组可以用于索引指定形状的任意张量。

unsqueeze

返回一个新张量,并在指定位置插入一个大小为 1 的维度。

vsplit

根据 indices_or_sectionsinput(一个具有两个或更多维度的张量)垂直分割成多个张量。

vstack

按顺序垂直(按行)堆叠张量。

where

根据 condition 返回一个从 inputother 中选择元素的张量。

加速器

在 PyTorch 仓库中,我们将“加速器”定义为一种与 CPU 一起使用以加速计算的 torch.device。这些设备使用异步执行方案,主要通过 torch.Streamtorch.Event 来执行同步。我们还假设在给定主机上一次只能有一个这样的加速器可用。这使得我们可以将当前加速器用作相关概念(如固定内存 (pinned memory)、Stream device_type、FSDP 等)的默认设备。

截至目前,加速器设备(不分先后顺序)包括 “CUDA”“MTIA”“XPU”“MPS”、“HPU”和 PrivateUse1(许多设备不在 PyTorch 仓库本身)。

PyTorch 生态系统中的许多工具使用 fork 来创建子进程(例如数据加载或操作内并行化),因此尽可能延迟任何会阻止进一步 fork 的操作非常重要。这在这里尤为重要,因为大多数加速器的初始化都会产生这种影响。实际上,您应该记住,默认情况下检查 torch.accelerator.current_accelerator() 是一个编译时检查,因此始终是 fork 安全的。相反,向此函数传递 check_available=True 标志或调用 torch.accelerator.is_available() 通常会阻止后续的 fork 操作。

某些后端提供了一个实验性的选择加入选项,以使运行时可用性检查成为 fork 安全的。例如,在使用 CUDA 设备时,可以使用 PYTORCH_NVML_BASED_CUDA_CHECK=1

Stream

一个按顺序执行相应任务的异步队列,按照先进先出 (FIFO) 的顺序执行。

Event

查询和记录 Stream 状态,以识别或控制跨 Stream 的依赖关系并测量时间。

生成器

Generator

创建并返回一个生成器对象,该对象管理生成伪随机数的算法的状态。

随机采样

seed

在所有设备上将用于生成随机数的种子设置为非确定性随机数。

manual_seed

在所有设备上设置用于生成随机数的种子。

initial_seed

将用于生成随机数的初始种子作为 Python long 返回。

get_rng_state

将随机数生成器状态作为 torch.ByteTensor 返回。

set_rng_state

设置随机数生成器状态。

torch.default_generator 返回默认的 CPU torch.Generator

bernoulli

从伯努利分布中抽取二元随机数(0 或 1)。

multinomial

返回一个张量,其中每一行包含从位于 input 张量对应行中的多项分布(更严格的定义是多元,详见 torch.distributions.multinomial.Multinomial)中抽取的 num_samples 个索引。

normal

返回一个张量,其中包含从给定均值和标准差的独立正态分布中抽取的随机数。

poisson

返回一个与 input 大小相同的张量,其中每个元素都从泊松分布中采样得到,其速率参数由 input 中的对应元素给出,即

rand

返回一个张量,其中填充了来自区间 [0,1)[0, 1) 上的均匀分布的随机数。

rand_like

返回一个与 input 大小相同的张量,其中填充了来自区间 [0,1)[0, 1) 上的均匀分布的随机数。

randint

返回一个张量,其中填充了在 low(包含)和 high(不包含)之间均匀生成的随机整数。

randint_like

返回一个与张量 input 形状相同的张量,其中填充了在 low(包含)和 high(不包含)之间均匀生成的随机整数。

randn

返回一个张量,其中填充了来自均值为 0、方差为 1 的正态分布(也称为标准正态分布)的随机数。

randn_like

返回一个与 input 大小相同的张量,其中填充了来自均值为 0、方差为 1 的正态分布的随机数。

randperm

返回从 0n - 1 的整数的随机排列。

原地随机采样

张量上还定义了一些其他的原地随机采样函数。点击链接查看其文档

准随机采样

quasirandom.SobolEngine

torch.quasirandom.SobolEngine 是一个用于生成(加扰)Sobol 序列的引擎。

序列化

save

将对象保存到磁盘文件。

load

从文件中加载使用 torch.save() 保存的对象。

并行

get_num_threads

返回用于并行化 CPU 操作的线程数。

set_num_threads

设置 CPU 上操作内并行化使用的线程数。

get_num_interop_threads

返回 CPU 上操作间并行化使用的线程数(例如。

set_num_interop_threads

设置操作间并行化使用的线程数(例如。

局部禁用梯度计算

上下文管理器 torch.no_grad()torch.enable_grad()torch.set_grad_enabled() 对于局部禁用和启用梯度计算很有帮助。详见 局部禁用梯度计算,了解其用法。这些上下文管理器是线程局部的,因此如果您使用 threading 模块等将工作发送到另一个线程,它们将不起作用。

示例

>>> x = torch.zeros(1, requires_grad=True)
>>> with torch.no_grad():
...     y = x * 2
>>> y.requires_grad
False

>>> is_train = False
>>> with torch.set_grad_enabled(is_train):
...     y = x * 2
>>> y.requires_grad
False

>>> torch.set_grad_enabled(True)  # this can also be used as a function
>>> y = x * 2
>>> y.requires_grad
True

>>> torch.set_grad_enabled(False)
>>> y = x * 2
>>> y.requires_grad
False

no_grad

禁用梯度计算的上下文管理器。

enable_grad

启用梯度计算的上下文管理器。

autograd.grad_mode.set_grad_enabled

设置梯度计算开启或关闭的上下文管理器。

is_grad_enabled

如果当前启用了梯度模式,则返回 True。

autograd.grad_mode.inference_mode

启用或禁用推理模式的上下文管理器。

is_inference_mode_enabled

如果当前启用了推理模式,则返回 True。

数学运算

常量

inf

浮点正无穷大。是 math.inf 的别名。

nan

浮点“非数字”值。此值不是合法数字。是 math.nan 的别名。

逐点运算

abs

计算 input 中每个元素的绝对值。

absolute

torch.abs() 的别名

acos

计算 input 中每个元素的反余弦。

arccos

torch.acos() 的别名。

acosh

返回一个新张量,其中包含 input 中元素的反双曲余弦。

arccosh

torch.acosh() 的别名。

add

otheralpha 缩放后添加到 input 中。

addcdiv

tensor1tensor2 执行逐元素除法,将结果乘以标量 value 并将其添加到 input 中。

addcmul

tensor1tensor2 执行逐元素乘法,将结果乘以标量 value 并将其添加到 input 中。

angle

计算给定 input 张量的逐元素角度(以弧度为单位)。

asin

返回一个新张量,其中包含 input 中元素的反正弦。

arcsin

torch.asin() 的别名。

asinh

返回一个新张量,其中包含 input 中元素的反双曲正弦。

arcsinh

torch.asinh() 的别名。

atan

返回一个新张量,其中包含 input 中元素的反正切。

arctan

torch.atan() 的别名。

atanh

返回一个新张量,其中包含 input 中元素的反双曲正切。

arctanh

torch.atanh() 的别名。

atan2

逐元素计算 inputi/otheri\text{input}_{i} / \text{other}_{i} 的反正切,同时考虑象限。

arctan2

torch.atan2() 的别名。

bitwise_not

计算给定 input 张量的按位非。

bitwise_and

计算 inputother 的按位与。

bitwise_or

计算 inputother 的按位或。

bitwise_xor

计算 inputother 的按位异或。

bitwise_left_shift

计算 inputother 位进行的算术左移。

bitwise_right_shift

计算 inputother 位进行的算术右移。

ceil

返回一个新张量,其中包含 input 中元素的向上取整值,即大于或等于每个元素的最小整数。

clamp

input 中所有元素限制在 [ min, max ] 范围内。

clip

torch.clamp() 的别名。

conj_physical

计算给定 input 张量的逐元素共轭。

copysign

创建一个新的浮点张量,其逐元素幅值来自 input,符号来自 other

cos

返回一个新张量,其中包含 input 中元素的余弦。

cosh

返回一个新张量,其中包含 input 中元素的双曲余弦。

deg2rad

返回一个新张量,其中 input 的每个元素都从角度(度)转换为弧度。

div

将输入 input 的每个元素除以 other 的相应元素。

divide

torch.div() 的别名。

digamma

torch.special.digamma() 的别名。

erf

torch.special.erf() 的别名。

erfc

torch.special.erfc() 的别名。

erfinv

torch.special.erfinv() 的别名。

exp

返回一个新张量,其中包含输入张量 input 中元素的指数。

exp2

torch.special.exp2() 的别名。

expm1

torch.special.expm1() 的别名。

fake_quantize_per_channel_affine

返回一个新张量,其中 input 中的数据根据 axis 指定的通道,使用 scalezero_pointquant_minquant_max 进行每通道伪量化。

fake_quantize_per_tensor_affine

返回一个新张量,其中 input 中的数据使用 scalezero_pointquant_minquant_max 进行每张量伪量化。

fix

torch.trunc() 的别名。

float_power

逐元素计算 inputexponent 次方,结果为双精度。

floor

返回一个新张量,其中包含 input 中元素的向下取整值,即小于或等于每个元素的最大整数。

floor_divide

fmod

逐项应用 C++ 的 std::fmod

frac

计算 input 中每个元素的小数部分。

frexp

input 分解为尾数 (mantissa) 和指数 (exponent) 张量,使得 input=mantissa×2exponent\text{input} = \text{mantissa} \times 2^{\text{exponent}}

gradient

使用二阶精确中心差分法以及边界处的一阶或二阶估计值,估算一个或多个维度上函数 g:RnRg : \mathbb{R}^n \rightarrow \mathbb{R} 的梯度。

imag

返回一个包含 self 张量虚部值的新张量。

ldexp

input 乘以 2 的 other 次幂。

lerp

基于标量或张量 weight,对两个张量 start (由 input 给出) 和 end 进行线性插值,并返回结果张量 out

lgamma

计算 input 上伽马函数绝对值的自然对数。

log

返回一个新张量,其中包含 input 中元素的自然对数。

log10

返回一个新张量,其中包含 input 中元素的以 10 为底的对数。

log1p

返回一个新张量,其中包含 (1 + input) 的自然对数。

log2

返回一个新张量,其中包含 input 中元素的以 2 为底的对数。

logaddexp

输入的指数和的对数。

logaddexp2

输入的以 2 为底的指数和的对数。

logical_and

计算给定输入张量的逐元素逻辑与。

logical_not

计算给定输入张量的逐元素逻辑非。

logical_or

计算给定输入张量的逐元素逻辑或。

logical_xor

计算给定输入张量的逐元素逻辑异或。

logit

torch.special.logit() 的别名。

hypot

给定直角三角形的两条直角边,返回其斜边。

i0

torch.special.i0() 的别名。

igamma

torch.special.gammainc() 的别名。

igammac

torch.special.gammaincc() 的别名。

mul

input 乘以 other

multiply

torch.mul() 的别名。

mvlgamma

torch.special.multigammaln() 的别名。

nan_to_num

input 中的 NaN、正无穷和负无穷值替换为 nanposinfneginf 指定的值。

neg

返回一个新张量,其中包含 input 中元素的负值。

negative

torch.neg() 的别名。

nextafter

逐元素返回 input 之后朝向 other 的下一个浮点值。

polygamma

torch.special.polygamma() 的别名。

positive

返回 input

pow

计算 input 中每个元素的 exponent 次幂,并返回包含结果的张量。

quantized_batch_norm

对 4D (NCHW) 量化张量应用批归一化。

quantized_max_pool1d

对由多个输入平面组成的输入量化张量应用 1D 最大池化。

quantized_max_pool2d

对由多个输入平面组成的输入量化张量应用 2D 最大池化。

rad2deg

返回一个新张量,其中 input 中的每个元素都从弧度转换为角度。

real

返回一个包含 self 张量实部值的新张量。

reciprocal

返回一个新张量,其中包含 input 中元素的倒数。

remainder

按元素计算 Python 的模运算

round

input 的元素四舍五入到最近的整数。

rsqrt

返回一个新张量,其中包含 input 中每个元素的平方根的倒数。

sigmoid

torch.special.expit() 的别名。

sign

返回一个新张量,其中包含 input 中元素的符号。

sgn

此函数是将 torch.sign() 扩展到复数张量。

signbit

测试 input 的每个元素的符号位是否设置。

sin

返回一个新张量,其中包含 input 中元素的正弦。

sinc

torch.special.sinc() 的别名。

sinh

返回一个新张量,其中包含 input 中元素的双曲正弦。

softmax

torch.nn.functional.softmax() 的别名。

sqrt

返回一个新张量,其中包含 input 中元素的平方根。

square

返回一个新张量,其中包含 input 中元素的平方。

sub

input 中减去 other(按 alpha 缩放)。

subtract

torch.sub() 的别名。

tan

返回一个新张量,其中包含 input 中元素的正切。

tanh

返回一个新张量,其中包含 input 中元素的双曲正切。

true_divide

torch.div() 的别名,设置 rounding_mode=None

trunc

返回一个新张量,其中包含 input 中元素的截断整数值。

xlogy

torch.special.xlogy() 的别名。

规约操作

argmax

返回 input 张量中所有元素的最大值的索引。

argmin

返回展平张量或沿维度方向的最小值(或多个值)的索引。

amax

返回给定维度 diminput 张量每个切片的最大值。

amin

返回给定维度 diminput 张量每个切片的最小值。

aminmax

计算 input 张量的最小值和最大值。

all

测试 input 中的所有元素是否都评估为 True

any

测试 input 中的任何元素是否评估为 True

max

返回 input 张量中所有元素的最大值。

min

返回 input 张量中所有元素的最小值。

dist

返回 (input - other) 的 p-范数。

logsumexp

返回给定维度 diminput 张量每行元素指数和的对数。

mean

nanmean

计算指定维度上所有 非 NaN 元素的均值。

median

返回 input 中值的中位数。

nanmedian

返回 input 中值的中位数,忽略 NaN 值。

mode

返回一个命名元组 (values, indices),其中 values 是给定维度 diminput 张量每行的众数,即在该行中出现频率最高的值;indices 是每个找到的众数值的索引位置。

norm

返回给定张量的矩阵范数或向量范数。

nansum

返回所有元素的总和,将非数字 (NaN) 视为零。

prod

返回 input 张量中所有元素的乘积。

quantile

计算 input 张量沿维度 dim 的每行的第 q 个分位数。

nanquantile

这是 torch.quantile() 的一个变体,它“忽略” NaN 值,计算分位数 q,就像 input 中不存在 NaN 值一样。

std

计算由 dim 指定维度的标准差。

std_mean

计算由 dim 指定维度的标准差和均值。

sum

返回 input 张量中所有元素的总和。

unique

返回输入张量的唯一元素。

unique_consecutive

对于每个连续的等价元素组,仅保留第一个元素。

var

计算由 dim 指定维度的方差。

var_mean

计算由 dim 指定维度的方差和均值。

count_nonzero

计算张量 input 沿给定维度 dim 的非零值数量。

比较操作

allclose

此函数检查 inputother 是否满足条件

argsort

返回沿给定维度按值升序排序张量的索引。

eq

计算逐元素相等性

equal

如果两个张量大小和元素都相同,则为 True,否则为 False

ge

逐元素计算 inputother\text{input} \geq \text{other}

greater_equal

torch.ge() 的别名。

gt

逐元素计算 input>other\text{input} > \text{other}

greater

torch.gt() 的别名。

isclose

返回一个新布尔张量,指示 input 的每个元素是否“接近”于 other 的相应元素。

isfinite

返回一个新布尔张量,指示每个元素是否 有限

isin

测试 elements 的每个元素是否在 test_elements 中。

isinf

测试 input 的每个元素是否为无穷(正无穷或负无穷)。

isposinf

测试 input 的每个元素是否为正无穷。

isneginf

测试 input 的每个元素是否为负无穷。

isnan

返回一个新布尔张量,指示 input 的每个元素是否为 NaN。

isreal

返回一个新布尔张量,指示 input 的每个元素是否为实数值。

kthvalue

返回一个命名元组 (values, indices),其中 values 是给定维度 diminput 张量每行的第 k 个最小值。

le

逐元素计算 inputother\text{input} \leq \text{other}

less_equal

torch.le() 的别名。

lt

逐元素计算 input<other\text{input} < \text{other}

less

torch.lt() 的别名。

maximum

计算 inputother 的逐元素最大值。

minimum

计算 inputother 的逐元素最小值。

fmax

计算 inputother 的逐元素最大值。

fmin

计算 inputother 的逐元素最小值。

ne

逐元素计算 inputother\text{input} \neq \text{other}

not_equal

torch.ne() 的别名。

sort

沿给定维度按值升序对 input 张量的元素进行排序。

topk

返回给定维度上给定 input 张量的 k 个最大元素。

msort

沿 input 张量第一维度按值升序对其元素进行排序。

谱操作

stft

短时傅里叶变换 (STFT)。

istft

逆短时傅里叶变换。

bartlett_window

Bartlett 窗函数。

blackman_window

Blackman 窗函数。

hamming_window

Hamming 窗函数。

hann_window

Hann 窗函数。

kaiser_window

计算具有窗长度 window_length 和形状参数 beta 的 Kaiser 窗。

其他操作

atleast_1d

返回每个零维输入张量的 1 维视图。

atleast_2d

返回每个零维输入张量的 2 维视图。

atleast_3d

返回每个零维输入张量的 3 维视图。

bincount

计算非负整数数组中每个值的频率。

block_diag

从提供的张量创建块对角矩阵。

broadcast_tensors

根据 广播语义 广播给定的张量。

broadcast_to

input 广播到形状 shape

broadcast_shapes

类似于 broadcast_tensors(),但用于形状。

bucketize

返回 input 中每个值所属桶的索引,桶的边界由 boundaries 设置。

cartesian_prod

对给定张量序列进行笛卡尔积。

cdist

计算两组行向量中每对向量之间的 p-范数距离(批量)。

clone

返回 input 的副本。

combinations

计算给定张量的长度为 rr 的组合。

corrcoef

估计由 input 矩阵给出的变量的 Pearson 积矩相关系数矩阵,其中行表示变量,列表示观测值。

cov

估计由 input 矩阵给出的变量的协方差矩阵,其中行表示变量,列表示观测值。

cross

返回 inputother 在维度 dim 上的向量叉积。

cummax

返回一个命名元组 (values, indices),其中 valuesinput 在维度 dim 上的累积最大值。

cummin

返回一个命名元组 (values, indices),其中 valuesinput 在维度 dim 上的累积最小值。

cumprod

返回 input 在维度 dim 上的累积乘积。

cumsum

返回 input 在维度 dim 上的累积和。

diag

  • 如果 input 是一个向量(1D 张量),则返回一个 2D 方阵

diag_embed

创建一个张量,其特定 2D 平面(由 dim1dim2 指定)的对角线由 input 填充。

diagflat

  • 如果 input 是一个向量(1D 张量),则返回一个 2D 方阵

diagonal

返回 input 的部分视图,其中相对于 dim1dim2 的对角线元素作为维度附加到形状末尾。

diff

计算沿给定维度的 n 阶前向差分。

einsum

根据爱因斯坦求和约定指定的维度,对输入 operands 中元素的乘积进行求和。

flatten

input 重塑为一维张量进行展平。

flip

沿 dims 中的给定轴反转 n 维张量的顺序。

fliplr

左右翻转张量,返回一个新张量。

flipud

上下翻转张量,返回一个新张量。

kron

计算 inputother 的 Kronecker 积,记为 \otimes

rot90

在 dims 轴指定的平面中将 n 维张量旋转 90 度。

gcd

计算 inputother 的逐元素最大公约数 (GCD)。

histc

计算张量的直方图。

histogram

计算张量中值的直方图。

histogramdd

计算张量中值的多维直方图。

meshgrid

创建由 attr:tensors 中的 1D 输入指定的坐标网格。

lcm

计算 inputother 的逐元素最小公倍数 (LCM)。

logcumsumexp

返回 input 张量在维度 dim 上元素指数化的累计求和的对数。

ravel

返回一个连续的扁平化张量。

renorm

返回一个张量,其中 input 沿维度 dim 的每个子张量都经过归一化,使得子张量的 p-范数小于 maxnorm

repeat_interleave

重复张量的元素。

roll

沿着给定维度滚动张量 input

searchsorted

sorted_sequence最内层维度中查找索引,以便如果将 values 中的对应值插入到这些索引之前,排序后 sorted_sequence 中对应的最内层维度的顺序将得以保留。

tensordot

返回张量 a 和 b 在多个维度上的收缩(contraction)。

trace

返回输入二维矩阵对角线元素的和。

tril

返回矩阵(二维张量)或矩阵批次 input 的下三角部分,结果张量 out 的其他元素设置为 0。

tril_indices

返回一个 rowcol 列矩阵的下三角部分的索引,表示为一个 2xN 的张量,其中第一行包含所有索引的行坐标,第二行包含列坐标。

triu

返回矩阵(二维张量)或矩阵批次 input 的上三角部分,结果张量 out 的其他元素设置为 0。

triu_indices

返回一个 rowcol 列矩阵的上三角部分的索引,表示为一个 2xN 的张量,其中第一行包含所有索引的行坐标,第二行包含列坐标。

unflatten

将输入张量的一个维度扩展为多个维度。

vander

生成一个范德蒙德矩阵。

view_as_real

返回 input 的实数张量视图。

view_as_complex

返回 input 的复数张量视图。

resolve_conj

如果 input 的共轭位设置为 True,则返回应用了共轭操作的新张量,否则返回 input

resolve_neg

如果 input 的负数位设置为 True,则返回应用了取反操作的新张量,否则返回 input

BLAS 和 LAPACK 操作

addbmm

对存储在 batch1batch2 中的矩阵执行批次矩阵乘法,并带有一个归约加法步骤(所有矩阵乘法结果沿第一维度累加)。

addmm

对矩阵 mat1mat2 执行矩阵乘法。

addmv

对矩阵 mat 和向量 vec 执行矩阵-向量乘积。

addr

对向量 vec1vec2 执行外积,并将其加到矩阵 input 上。

baddbmm

batch1batch2 中的矩阵执行批次矩阵乘法。

bmm

对存储在 inputmat2 中的矩阵执行批次矩阵乘法。

chain_matmul

返回 NN 个二维张量的矩阵乘积。

cholesky

计算对称正定矩阵 AA 或批次对称正定矩阵的 Cholesky 分解。

cholesky_inverse

给定复数 Hermitian 矩阵或实数对称正定矩阵的 Cholesky 分解,计算其逆。

cholesky_solve

给定复数 Hermitian 或实数对称正定左侧 (lhs) 矩阵的 Cholesky 分解,计算线性方程组的解。

dot

计算两个一维张量的点积。

geqrf

这是一个直接调用 LAPACK 的 geqrf 的底层函数。

ger

torch.outer() 的别名。

inner

计算一维张量的点积。

inverse

torch.linalg.inv() 的别名

det

torch.linalg.det() 的别名

logdet

计算方阵或批次方阵的对数行列式。

slogdet

torch.linalg.slogdet() 的别名

lu

计算矩阵 A 或矩阵批次的 LU 分解。

lu_solve

使用 lu_factor() 得到的 A 的部分主元 LU 分解,返回线性系统 Ax=bAx = b 的 LU 求解结果。

lu_unpack

lu_factor() 返回的 LU 分解解包为 P, L, U 矩阵。

matmul

两个张量的矩阵乘积。

matrix_power

torch.linalg.matrix_power() 的别名

matrix_exp

torch.linalg.matrix_exp() 的别名。

mm

对矩阵 inputmat2 执行矩阵乘法。

mv

对矩阵 input 和向量 vec 执行矩阵-向量乘积。

orgqr

torch.linalg.householder_product() 的别名。

ormqr

计算 Householder 矩阵乘积与通用矩阵的矩阵乘法。

outer

inputvec2 的外积。

pinverse

torch.linalg.pinv() 的别名

qr

计算矩阵或矩阵批次 input 的 QR 分解,并返回一个包含张量 (Q, R) 的具名元组,使得 input=QR\text{input} = Q R 成立,其中 QQ 是正交矩阵或正交矩阵的批次,RR 是上三角矩阵或上三角矩阵的批次。

svd

计算矩阵或矩阵批次 input 的奇异值分解。

svd_lowrank

返回矩阵、矩阵批次或稀疏矩阵 AA 的奇异值分解 (U, S, V),使得 AUdiag(S)VHA \approx U \operatorname{diag}(S) V^{\text{H}} 成立。

pca_lowrank

对低秩矩阵、此类矩阵的批次或稀疏矩阵执行线性主成分分析 (PCA)。

lobpcg

使用无矩阵 LOBPCG 方法查找对称正定广义特征值问题的 k 个最大(或最小)特征值及对应的特征向量。

trapz

torch.trapezoid() 的别名。

trapezoid

沿维度 dim 计算梯形法则

cumulative_trapezoid

沿维度 dim 累积计算梯形法则

triangular_solve

求解具有方形上三角或下三角可逆矩阵 AA 和多个右侧矩阵(向量) bb 的方程组。

vdot

沿维度计算两个一维向量的点积。

Foreach 操作

警告

此 API 处于 Beta 阶段,未来可能发生不兼容的更改。不支持前向模式自动微分 (AD)。

_foreach_abs

torch.abs() 应用于输入列表中的每个 Tensor。

_foreach_abs_

torch.abs() 应用于输入列表中的每个 Tensor。

_foreach_acos

torch.acos() 应用于输入列表中的每个 Tensor。

_foreach_acos_

torch.acos() 应用于输入列表中的每个 Tensor。

_foreach_asin

torch.asin() 应用于输入列表中的每个 Tensor。

_foreach_asin_

torch.asin() 应用于输入列表中的每个 Tensor。

_foreach_atan

torch.atan() 应用于输入列表中的每个 Tensor。

_foreach_atan_

torch.atan() 应用于输入列表中的每个 Tensor。

_foreach_ceil

torch.ceil() 应用于输入列表中的每个 Tensor。

_foreach_ceil_

torch.ceil() 应用于输入列表中的每个 Tensor。

_foreach_cos

torch.cos() 应用于输入列表中的每个 Tensor。

_foreach_cos_

torch.cos() 应用于输入列表中的每个 Tensor。

_foreach_cosh

torch.cosh() 应用于输入列表中的每个 Tensor。

_foreach_cosh_

torch.cosh() 应用于输入列表中的每个 Tensor。

_foreach_erf

torch.erf() 应用于输入列表中的每个 Tensor。

_foreach_erf_

torch.erf() 应用于输入列表中的每个 Tensor。

_foreach_erfc

torch.erfc() 应用于输入列表中的每个 Tensor。

_foreach_erfc_

torch.erfc() 应用于输入列表中的每个 Tensor。

_foreach_exp

torch.exp() 应用于输入列表中的每个 Tensor。

_foreach_exp_

torch.exp() 应用于输入列表中的每个 Tensor。

_foreach_expm1

torch.expm1() 应用于输入列表中的每个 Tensor。

_foreach_expm1_

torch.expm1() 应用于输入列表中的每个 Tensor。

_foreach_floor

torch.floor() 应用于输入列表中的每个 Tensor。

_foreach_floor_

torch.floor() 应用于输入列表中的每个 Tensor。

_foreach_log

torch.log() 应用于输入列表中的每个 Tensor。

_foreach_log_

torch.log() 应用于输入列表中的每个 Tensor。

_foreach_log10

torch.log10() 应用于输入列表中的每个 Tensor。

_foreach_log10_

torch.log10() 应用于输入列表中的每个 Tensor。

_foreach_log1p

torch.log1p() 应用于输入列表中的每个 Tensor。

_foreach_log1p_

torch.log1p() 应用于输入列表中的每个 Tensor。

_foreach_log2

torch.log2() 应用于输入列表中的每个 Tensor。

_foreach_log2_

torch.log2() 应用于输入列表中的每个 Tensor。

_foreach_neg

torch.neg() 应用于输入列表中的每个 Tensor。

_foreach_neg_

torch.neg() 应用于输入列表中的每个 Tensor。

_foreach_tan

torch.tan() 应用于输入列表中的每个 Tensor。

_foreach_tan_

torch.tan() 应用于输入列表中的每个 Tensor。

_foreach_sin

torch.sin() 应用于输入列表中的每个 Tensor。

_foreach_sin_

torch.sin() 应用于输入列表中的每个 Tensor。

_foreach_sinh

torch.sinh() 应用于输入列表中的每个 Tensor。

_foreach_sinh_

torch.sinh() 应用于输入列表中的每个 Tensor。

_foreach_round

torch.round() 应用于输入列表中的每个 Tensor。

_foreach_round_

torch.round() 应用于输入列表中的每个 Tensor。

_foreach_sqrt

torch.sqrt() 应用于输入列表中的每个 Tensor。

_foreach_sqrt_

torch.sqrt() 应用于输入列表中的每个 Tensor。

_foreach_lgamma

torch.lgamma() 应用于输入列表中的每个 Tensor。

_foreach_lgamma_

torch.lgamma() 应用于输入列表中的每个 Tensor。

_foreach_frac

torch.frac() 应用于输入列表中的每个 Tensor。

_foreach_frac_

torch.frac() 应用于输入列表中的每个 Tensor。

_foreach_reciprocal

torch.reciprocal() 应用于输入列表中的每个 Tensor。

_foreach_reciprocal_

torch.reciprocal() 应用于输入列表中的每个 Tensor。

_foreach_sigmoid

torch.sigmoid() 应用于输入列表中的每个 Tensor。

_foreach_sigmoid_

torch.sigmoid() 应用于输入列表中的每个 Tensor。

_foreach_trunc

torch.trunc() 应用于输入列表中的每个 Tensor。

_foreach_trunc_

torch.trunc() 应用于输入列表中的每个 Tensor。

_foreach_zero_

torch.zero() 应用于输入列表中的每个 Tensor。

工具函数

compiled_with_cxx11_abi

返回 PyTorch 是否是使用 _GLIBCXX_USE_CXX11_ABI=1 构建的。

result_type

返回对提供的输入张量执行算术运算后会产生的 torch.dtype

can_cast

根据类型提升文档中描述的 PyTorch 类型转换规则,判断是否允许进行类型转换。

promote_types

返回具有最小大小和标量种类(scalar kind),且不小于也不低于 type1type2torch.dtype

use_deterministic_algorithms

设置 PyTorch 操作是否必须使用“确定性”算法。

are_deterministic_algorithms_enabled

如果全局确定性标志开启,则返回 True

is_deterministic_algorithms_warn_only_enabled

如果全局确定性标志设置为仅警告模式,则返回 True

set_deterministic_debug_mode

设置确定性操作的调试模式。

get_deterministic_debug_mode

返回确定性操作当前调试模式的值。

set_float32_matmul_precision

设置 float32 矩阵乘法的内部精度。

get_float32_matmul_precision

返回 float32 矩阵乘法当前精度值。

set_warn_always

当此标志为 False(默认值)时,某些 PyTorch 警告可能每个进程仅显示一次。

get_device_module

返回与给定设备(例如,torch.device('cuda'), "mtia:0", "xpu", ...)关联的模块。

is_warn_always_enabled

如果全局 warn_always 标志开启,则返回 True

vmap

vmap 是向量化映射;vmap(func) 返回一个新函数,该函数将 func 应用于输入张量的某个维度。

_assert

Python assert 的一个包装器,可以进行符号跟踪。

符号数值

torch.SymInt(node)[source][source]

类似于 int (包括魔术方法),但将所有操作重定向到包装的节点。这特别用于在符号形状工作流中符号记录操作。

as_integer_ratio()[source][source]

将此 int 表示为一个精确的整数比。

返回类型

tuple['SymInt', int]

torch.SymFloat(node)[source][source]

类似于 float (包括魔术方法),但将所有操作重定向到包装的节点。这特别用于在符号形状工作流中符号记录操作。

as_integer_ratio()[source][source]

将此 float 表示为一个精确的整数比。

返回类型

tuple[int, int]

conjugate()[source][source]

返回此 float 的复共轭。

返回类型

SymFloat

hex()[source][source]

返回此 float 的十六进制表示。

返回类型

str

is_integer()[source][source]

如果此 float 是整数,则返回 True

torch.SymBool(node)[source][source]

类似于 bool (包括魔术方法),但将所有操作重定向到包装的节点。这特别用于在符号形状工作流中符号记录操作。

与普通 bool 不同,普通布尔运算符会强制增加 guards,而不是符号求值。请改用按位运算符来处理此问题。

sym_float

SymInt 感知的 float 类型转换工具函数。

sym_fresh_size

sym_int

SymInt 感知的 int 类型转换工具函数。

sym_max

SymInt 感知的 max 工具函数,避免在 a < b 上分支。

sym_min

SymInt 感知的 min() 工具函数。

sym_not

SymInt 感知的逻辑非工具函数。

sym_ite

sym_sum

N 元加法,对于长列表比迭代二元加法计算更快。

导出路径

警告

此特性是原型,未来可能存在不兼容的变更。

export generated/exportdb/index

控制流

警告

此特性是原型,未来可能存在不兼容的变更。

cond

有条件地应用 true_fnfalse_fn

优化

compile

使用 TorchDynamo 和指定的后端优化给定的模型/函数。

torch.compile 文档

运算符标签

torch.Tag

成员

core

data_dependent_output

dynamic_output_shape

flexible_layout

generated

inplace_view

maybe_aliasing_or_mutating

needs_fixed_stride_order

nondeterministic_bitwise

nondeterministic_seeded

pointwise

pt2_compliant_tag

view_copy

属性 name

文档

访问全面的 PyTorch 开发者文档

查看文档

教程

获取针对初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题解答

查看资源