torch¶
torch 包包含多维张量的数据结构,并定义了针对这些张量的数学运算。此外,它还提供了许多用于高效序列化张量和任意类型的实用工具,以及其他有用的工具。
它有一个对应的 CUDA 部分,使你能够在计算能力 >= 3.0 的 NVIDIA GPU 上运行张量计算。
张量¶
如果 obj 是 PyTorch 张量,则返回 True。 |
|
如果 obj 是 PyTorch 存储对象,则返回 True。 |
|
如果 |
|
如果 |
|
如果 |
|
如果 |
|
将默认浮点 dtype 设置为 |
|
获取当前默认浮点 |
|
将默认的 |
|
获取默认的 |
|
返回 |
|
设置打印选项。 |
|
在 CPU 上禁用非规范化浮点数。 |
创建操作¶
注意
随机采样创建操作列在随机采样下,包括:torch.rand()
torch.rand_like()
torch.randn()
torch.randn_like()
torch.randint()
torch.randint_like()
torch.randperm()
您也可以将 torch.empty()
与原地随机采样方法一起使用,创建从更广泛的分布中采样值的 torch.Tensor
。
通过复制 |
|
构造一个 COO(坐标)格式的稀疏张量,并在给定 |
|
构造一个 CSR(压缩稀疏行)格式的稀疏张量,并在给定 |
|
构造一个 CSC(压缩稀疏列)格式的稀疏张量,并在给定 |
|
构造一个 BSR(块压缩稀疏行)格式的稀疏张量,并在给定 |
|
构造一个 BSC(块压缩稀疏列)格式的稀疏张量,并在给定 |
|
将 |
|
将 |
|
创建现有 torch.Tensor |
|
创建一个 CPU 张量,其存储由内存映射文件支持。 |
|
从 |
|
将来自外部库的张量转换为 |
|
从实现 Python 缓冲区协议的对象创建一个 1 维 |
|
返回一个填充了标量值 0 的张量,其形状由可变参数 |
|
返回一个填充了标量值 0 的张量,其大小与 |
|
返回一个填充了标量值 1 的张量,其形状由可变参数 |
|
返回一个填充了标量值 1 的张量,其大小与 |
|
返回一个大小为 的 1 维张量,其值取自区间 |
|
返回一个大小为 的 1 维张量,其值从 |
|
创建一个大小为 |
|
创建一个大小为 |
|
返回一个对角线为一、其他位置为零的二维张量。 |
|
返回一个填充了未初始化数据的张量。 |
|
返回一个大小与 |
|
创建一个具有指定 |
|
创建一个大小为 |
|
返回一个大小与 |
|
将浮点张量转换为具有给定比例和零点的量化张量。 |
|
将浮点张量转换为具有给定比例和零点的每通道量化张量。 |
|
通过对量化张量进行反量化,返回一个 fp32 张量。 |
|
计算 |
索引、切片、连接、变异操作¶
返回一个共轭且最后两个维度转置的张量视图。 |
|
返回一个包含 |
|
在给定维度上连接 |
|
|
|
|
|
返回 |
|
尝试将张量分割成指定数量的块。 |
|
根据 |
|
通过水平堆叠 |
|
按顺序沿深度方向(沿第三轴)堆叠张量。 |
|
沿 dim 指定的轴收集值。 |
|
根据 |
|
按顺序水平(按列)堆叠张量。 |
|
请参阅 |
|
请参阅 |
|
请参阅 |
|
返回一个新张量,它使用 |
|
返回一个新的一维张量,它根据布尔掩码 |
|
将 |
|
|
|
返回一个新张量,它是 |
|
与 |
|
返回原始张量 |
|
返回一个与 |
|
是 |
|
沿指定维度在给定索引处对 |
|
|
|
将 |
|
将 |
|
将 |
|
|
|
|
|
将张量分割成块。 |
|
返回一个张量,其中 |
|
沿一个新维度连接一系列张量。 |
|
是 |
|
是 |
|
要求 |
|
返回一个新张量,其中包含 |
|
沿给定 |
|
将张量 |
|
通过重复 |
|
返回 |
|
移除一个张量维度。 |
|
将一个平面索引张量转换为一个坐标张量元组,该元组可以用于索引指定形状的任意张量。 |
|
返回一个新张量,并在指定位置插入一个大小为 1 的维度。 |
|
根据 |
|
按顺序垂直(按行)堆叠张量。 |
|
根据 |
加速器¶
在 PyTorch 仓库中,我们将“加速器”定义为一种与 CPU 一起使用以加速计算的 torch.device
。这些设备使用异步执行方案,主要通过 torch.Stream
和 torch.Event
来执行同步。我们还假设在给定主机上一次只能有一个这样的加速器可用。这使得我们可以将当前加速器用作相关概念(如固定内存 (pinned memory)、Stream device_type、FSDP 等)的默认设备。
截至目前,加速器设备(不分先后顺序)包括 “CUDA”、“MTIA”、“XPU”、“MPS”、“HPU”和 PrivateUse1(许多设备不在 PyTorch 仓库本身)。
PyTorch 生态系统中的许多工具使用 fork 来创建子进程(例如数据加载或操作内并行化),因此尽可能延迟任何会阻止进一步 fork 的操作非常重要。这在这里尤为重要,因为大多数加速器的初始化都会产生这种影响。实际上,您应该记住,默认情况下检查 torch.accelerator.current_accelerator()
是一个编译时检查,因此始终是 fork 安全的。相反,向此函数传递 check_available=True
标志或调用 torch.accelerator.is_available()
通常会阻止后续的 fork 操作。
某些后端提供了一个实验性的选择加入选项,以使运行时可用性检查成为 fork 安全的。例如,在使用 CUDA 设备时,可以使用 PYTORCH_NVML_BASED_CUDA_CHECK=1
。
一个按顺序执行相应任务的异步队列,按照先进先出 (FIFO) 的顺序执行。 |
|
查询和记录 Stream 状态,以识别或控制跨 Stream 的依赖关系并测量时间。 |
随机采样¶
在所有设备上将用于生成随机数的种子设置为非确定性随机数。 |
|
在所有设备上设置用于生成随机数的种子。 |
|
将用于生成随机数的初始种子作为 Python long 返回。 |
|
将随机数生成器状态作为 torch.ByteTensor 返回。 |
|
设置随机数生成器状态。 |
- torch.default_generator 返回默认的 CPU torch.Generator¶
从伯努利分布中抽取二元随机数(0 或 1)。 |
|
返回一个张量,其中每一行包含从位于 |
|
返回一个张量,其中包含从给定均值和标准差的独立正态分布中抽取的随机数。 |
|
返回一个与 |
|
返回一个张量,其中填充了来自区间 上的均匀分布的随机数。 |
|
返回一个与 |
|
返回一个张量,其中填充了在 |
|
返回一个与张量 |
|
返回一个张量,其中填充了来自均值为 0、方差为 1 的正态分布(也称为标准正态分布)的随机数。 |
|
返回一个与 |
|
返回从 |
原地随机采样¶
张量上还定义了一些其他的原地随机采样函数。点击链接查看其文档
torch.Tensor.cauchy_()
- 从柯西分布中抽取的数字。torch.Tensor.exponential_()
- 从指数分布中抽取的数字。torch.Tensor.geometric_()
- 从几何分布中抽取的元素。torch.Tensor.log_normal_()
- 从对数正态分布中采样的样本。torch.Tensor.normal_()
-torch.normal()
的原地版本。torch.Tensor.random_()
- 从离散均匀分布中采样的数字。torch.Tensor.uniform_()
- 从连续均匀分布中采样的数字。
准随机采样¶
|
序列化¶
将对象保存到磁盘文件。 |
|
从文件中加载使用 |
并行¶
返回用于并行化 CPU 操作的线程数。 |
|
设置 CPU 上操作内并行化使用的线程数。 |
|
返回 CPU 上操作间并行化使用的线程数(例如。 |
|
设置操作间并行化使用的线程数(例如。 |
局部禁用梯度计算¶
上下文管理器 torch.no_grad()
、torch.enable_grad()
和 torch.set_grad_enabled()
对于局部禁用和启用梯度计算很有帮助。详见 局部禁用梯度计算,了解其用法。这些上下文管理器是线程局部的,因此如果您使用 threading
模块等将工作发送到另一个线程,它们将不起作用。
示例
>>> x = torch.zeros(1, requires_grad=True)
>>> with torch.no_grad():
... y = x * 2
>>> y.requires_grad
False
>>> is_train = False
>>> with torch.set_grad_enabled(is_train):
... y = x * 2
>>> y.requires_grad
False
>>> torch.set_grad_enabled(True) # this can also be used as a function
>>> y = x * 2
>>> y.requires_grad
True
>>> torch.set_grad_enabled(False)
>>> y = x * 2
>>> y.requires_grad
False
禁用梯度计算的上下文管理器。 |
|
启用梯度计算的上下文管理器。 |
|
设置梯度计算开启或关闭的上下文管理器。 |
|
如果当前启用了梯度模式,则返回 True。 |
|
启用或禁用推理模式的上下文管理器。 |
|
如果当前启用了推理模式,则返回 True。 |
数学运算¶
常量¶
|
浮点正无穷大。是 |
|
浮点“非数字”值。此值不是合法数字。是 |
逐点运算¶
计算 |
|
是 |
|
计算 |
|
是 |
|
返回一个新张量,其中包含 |
|
是 |
|
将 |
|
对 |
|
对 |
|
计算给定 |
|
返回一个新张量,其中包含 |
|
是 |
|
返回一个新张量,其中包含 |
|
是 |
|
返回一个新张量,其中包含 |
|
是 |
|
返回一个新张量,其中包含 |
|
是 |
|
逐元素计算 的反正切,同时考虑象限。 |
|
是 |
|
计算给定 input 张量的按位非。 |
|
计算 |
|
计算 |
|
计算 |
|
计算 |
|
计算 |
|
返回一个新张量,其中包含 |
|
是 |
|
计算给定 |
|
创建一个新的浮点张量,其逐元素幅值来自 |
|
返回一个新张量,其中包含 |
|
返回一个新张量,其中包含 |
|
返回一个新张量,其中 |
|
将输入 |
|
是 |
|
是 |
|
是 |
|
是 |
|
是 |
|
返回一个新张量,其中包含输入张量 |
|
是 |
|
是 |
|
返回一个新张量,其中 |
|
返回一个新张量,其中 |
|
是 |
|
逐元素计算 |
|
返回一个新张量,其中包含 |
|
逐项应用 C++ 的 std::fmod。 |
|
计算 |
|
将 |
|
使用二阶精确中心差分法以及边界处的一阶或二阶估计值,估算一个或多个维度上函数 的梯度。 |
|
返回一个包含 |
|
将 |
|
基于标量或张量 |
|
计算 |
|
返回一个新张量,其中包含 |
|
返回一个新张量,其中包含 |
|
返回一个新张量,其中包含 (1 + |
|
返回一个新张量,其中包含 |
|
输入的指数和的对数。 |
|
输入的以 2 为底的指数和的对数。 |
|
计算给定输入张量的逐元素逻辑与。 |
|
计算给定输入张量的逐元素逻辑非。 |
|
计算给定输入张量的逐元素逻辑或。 |
|
计算给定输入张量的逐元素逻辑异或。 |
|
给定直角三角形的两条直角边,返回其斜边。 |
|
|
|
将 |
|
|
|
将 |
|
返回一个新张量,其中包含 |
|
|
|
逐元素返回 |
|
返回 |
|
计算 |
|
对 4D (NCHW) 量化张量应用批归一化。 |
|
对由多个输入平面组成的输入量化张量应用 1D 最大池化。 |
|
对由多个输入平面组成的输入量化张量应用 2D 最大池化。 |
|
返回一个新张量,其中 |
|
返回一个包含 |
|
返回一个新张量,其中包含 |
|
按元素计算 Python 的模运算。 |
|
将 |
|
返回一个新张量,其中包含 |
|
返回一个新张量,其中包含 |
|
此函数是将 torch.sign() 扩展到复数张量。 |
|
测试 |
|
返回一个新张量,其中包含 |
|
|
|
返回一个新张量,其中包含 |
|
返回一个新张量,其中包含 |
|
返回一个新张量,其中包含 |
|
从 |
|
|
|
返回一个新张量,其中包含 |
|
返回一个新张量,其中包含 |
|
|
|
返回一个新张量,其中包含 |
|
规约操作¶
返回 |
|
返回展平张量或沿维度方向的最小值(或多个值)的索引。 |
|
返回给定维度 |
|
返回给定维度 |
|
计算 |
|
测试 |
|
测试 |
|
返回 |
|
返回 |
|
返回 ( |
|
返回给定维度 |
|
计算指定维度上所有 非 NaN 元素的均值。 |
|
返回 |
|
返回 |
|
返回一个命名元组 |
|
返回给定张量的矩阵范数或向量范数。 |
|
返回所有元素的总和,将非数字 (NaN) 视为零。 |
|
返回 |
|
计算 |
|
这是 |
|
计算由 |
|
计算由 |
|
返回 |
|
返回输入张量的唯一元素。 |
|
对于每个连续的等价元素组,仅保留第一个元素。 |
|
计算由 |
|
计算由 |
|
计算张量 |
比较操作¶
此函数检查 |
|
返回沿给定维度按值升序排序张量的索引。 |
|
计算逐元素相等性 |
|
如果两个张量大小和元素都相同,则为 |
|
逐元素计算 。 |
|
|
|
逐元素计算 。 |
|
|
|
返回一个新布尔张量,指示 |
|
返回一个新布尔张量,指示每个元素是否 有限。 |
|
测试 |
|
测试 |
|
测试 |
|
测试 |
|
返回一个新布尔张量,指示 |
|
返回一个新布尔张量,指示 |
|
返回一个命名元组 |
|
逐元素计算 。 |
|
|
|
逐元素计算 。 |
|
|
|
计算 |
|
计算 |
|
计算 |
|
计算 |
|
逐元素计算 。 |
|
|
|
沿给定维度按值升序对 |
|
返回给定维度上给定 |
|
沿 |
谱操作¶
短时傅里叶变换 (STFT)。 |
|
逆短时傅里叶变换。 |
|
Bartlett 窗函数。 |
|
Blackman 窗函数。 |
|
Hamming 窗函数。 |
|
Hann 窗函数。 |
|
计算具有窗长度 |
其他操作¶
返回每个零维输入张量的 1 维视图。 |
|
返回每个零维输入张量的 2 维视图。 |
|
返回每个零维输入张量的 3 维视图。 |
|
计算非负整数数组中每个值的频率。 |
|
从提供的张量创建块对角矩阵。 |
|
根据 广播语义 广播给定的张量。 |
|
将 |
|
类似于 |
|
返回 |
|
对给定张量序列进行笛卡尔积。 |
|
计算两组行向量中每对向量之间的 p-范数距离(批量)。 |
|
返回 |
|
计算给定张量的长度为 的组合。 |
|
估计由 |
|
估计由 |
|
返回 |
|
返回一个命名元组 |
|
返回一个命名元组 |
|
返回 |
|
返回 |
|
|
|
创建一个张量,其特定 2D 平面(由 |
|
|
|
返回 |
|
计算沿给定维度的 n 阶前向差分。 |
|
根据爱因斯坦求和约定指定的维度,对输入 |
|
将 |
|
沿 dims 中的给定轴反转 n 维张量的顺序。 |
|
左右翻转张量,返回一个新张量。 |
|
上下翻转张量,返回一个新张量。 |
|
计算 |
|
在 dims 轴指定的平面中将 n 维张量旋转 90 度。 |
|
计算 |
|
计算张量的直方图。 |
|
计算张量中值的直方图。 |
|
计算张量中值的多维直方图。 |
|
创建由 attr:tensors 中的 1D 输入指定的坐标网格。 |
|
计算 |
|
返回 |
|
返回一个连续的扁平化张量。 |
|
返回一个张量,其中 |
|
重复张量的元素。 |
|
沿着给定维度滚动张量 |
|
在 |
|
返回张量 a 和 b 在多个维度上的收缩(contraction)。 |
|
返回输入二维矩阵对角线元素的和。 |
|
返回矩阵(二维张量)或矩阵批次 |
|
返回一个 |
|
返回矩阵(二维张量)或矩阵批次 |
|
返回一个 |
|
将输入张量的一个维度扩展为多个维度。 |
|
生成一个范德蒙德矩阵。 |
|
返回 |
|
返回 |
|
如果 |
|
如果 |
BLAS 和 LAPACK 操作¶
对存储在 |
|
对矩阵 |
|
对矩阵 |
|
对向量 |
|
对 |
|
对存储在 |
|
返回 个二维张量的矩阵乘积。 |
|
计算对称正定矩阵 或批次对称正定矩阵的 Cholesky 分解。 |
|
给定复数 Hermitian 矩阵或实数对称正定矩阵的 Cholesky 分解,计算其逆。 |
|
给定复数 Hermitian 或实数对称正定左侧 (lhs) 矩阵的 Cholesky 分解,计算线性方程组的解。 |
|
计算两个一维张量的点积。 |
|
这是一个直接调用 LAPACK 的 geqrf 的底层函数。 |
|
|
|
计算一维张量的点积。 |
|
计算方阵或批次方阵的对数行列式。 |
|
计算矩阵 |
|
使用 |
|
将 |
|
两个张量的矩阵乘积。 |
|
对矩阵 |
|
对矩阵 |
|
计算 Householder 矩阵乘积与通用矩阵的矩阵乘法。 |
|
|
|
计算矩阵或矩阵批次 |
|
计算矩阵或矩阵批次 |
|
返回矩阵、矩阵批次或稀疏矩阵 的奇异值分解 |
|
对低秩矩阵、此类矩阵的批次或稀疏矩阵执行线性主成分分析 (PCA)。 |
|
使用无矩阵 LOBPCG 方法查找对称正定广义特征值问题的 k 个最大(或最小)特征值及对应的特征向量。 |
|
|
|
沿维度 |
|
沿维度 |
|
求解具有方形上三角或下三角可逆矩阵 和多个右侧矩阵(向量) 的方程组。 |
|
沿维度计算两个一维向量的点积。 |
Foreach 操作¶
警告
此 API 处于 Beta 阶段,未来可能发生不兼容的更改。不支持前向模式自动微分 (AD)。
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
|
将 |
工具函数¶
返回 PyTorch 是否是使用 _GLIBCXX_USE_CXX11_ABI=1 构建的。 |
|
返回对提供的输入张量执行算术运算后会产生的 |
|
根据类型提升文档中描述的 PyTorch 类型转换规则,判断是否允许进行类型转换。 |
|
返回具有最小大小和标量种类(scalar kind),且不小于也不低于 type1 或 type2 的 |
|
设置 PyTorch 操作是否必须使用“确定性”算法。 |
|
如果全局确定性标志开启,则返回 True。 |
|
如果全局确定性标志设置为仅警告模式,则返回 True。 |
|
设置确定性操作的调试模式。 |
|
返回确定性操作当前调试模式的值。 |
|
设置 float32 矩阵乘法的内部精度。 |
|
返回 float32 矩阵乘法当前精度值。 |
|
当此标志为 False(默认值)时,某些 PyTorch 警告可能每个进程仅显示一次。 |
|
返回与给定设备(例如,torch.device('cuda'), "mtia:0", "xpu", ...)关联的模块。 |
|
如果全局 warn_always 标志开启,则返回 True。 |
|
vmap 是向量化映射; |
|
Python assert 的一个包装器,可以进行符号跟踪。 |
符号数值¶
- 类 torch.SymBool(node)[source][source]¶
类似于 bool (包括魔术方法),但将所有操作重定向到包装的节点。这特别用于在符号形状工作流中符号记录操作。
与普通 bool 不同,普通布尔运算符会强制增加 guards,而不是符号求值。请改用按位运算符来处理此问题。
SymInt 感知的 float 类型转换工具函数。 |
|
SymInt 感知的 int 类型转换工具函数。 |
|
SymInt 感知的 max 工具函数,避免在 a < b 上分支。 |
|
SymInt 感知的 min() 工具函数。 |
|
SymInt 感知的逻辑非工具函数。 |
|
N 元加法,对于长列表比迭代二元加法计算更快。 |