torch.nn¶
这些是图的基本构建块
torch.nn
一种被视为模块参数的张量。 |
|
未初始化的参数。 |
|
未初始化的缓冲区。 |
容器¶
所有神经网络模块的基类。 |
|
顺序容器。 |
|
在列表中保存子模块。 |
|
在字典中保存子模块。 |
|
在列表中保存参数。 |
|
在字典中保存参数。 |
模块的全局钩子
注册所有模块通用的前向预处理钩子。 |
|
为所有模块注册全局前向钩子。 |
|
注册所有模块通用的后向钩子。 |
|
注册所有模块通用的后向预处理钩子。 |
|
注册所有模块通用的后向钩子。 |
|
注册所有模块通用的缓冲区注册钩子。 |
|
注册所有模块通用的模块注册钩子。 |
|
注册所有模块通用的参数注册钩子。 |
卷积层¶
对由多个输入平面组成的输入信号应用一维卷积。 |
|
对由多个输入平面组成的输入信号应用二维卷积。 |
|
对由多个输入平面组成的输入信号应用三维卷积。 |
|
对由多个输入平面组成的输入图像应用一维转置卷积运算符。 |
|
对由多个输入平面组成的输入图像应用二维转置卷积运算符。 |
|
对由多个输入平面组成的输入图像应用三维转置卷积运算符。 |
|
具有 |
|
具有 |
|
具有 |
|
具有 |
|
具有 |
|
具有 |
|
从批处理输入张量中提取滑动局部块。 |
|
将滑动局部块数组组合成一个大的包含张量。 |
池化层¶
对由多个输入平面组成的输入信号应用一维最大池化。 |
|
对由多个输入平面组成的输入信号应用二维最大池化。 |
|
对由多个输入平面组成的输入信号应用三维最大池化。 |
|
计算 |
|
计算 |
|
计算 |
|
对由多个输入平面组成的输入信号应用一维平均池化。 |
|
对由多个输入平面组成的输入信号应用二维平均池化。 |
|
对由多个输入平面组成的输入信号应用三维平均池化。 |
|
对由多个输入平面组成的输入信号应用二维分数最大池化。 |
|
对由多个输入平面组成的输入信号应用 3D 分数最大池化。 |
|
对由多个输入平面组成的输入信号应用 1D 幂平均池化。 |
|
对由多个输入平面组成的输入信号应用 2D 幂平均池化。 |
|
对由多个输入平面组成的输入信号应用 3D 幂平均池化。 |
|
对由多个输入平面组成的输入信号应用 1D 自适应最大池化。 |
|
对由多个输入平面组成的输入信号应用 2D 自适应最大池化。 |
|
对由多个输入平面组成的输入信号应用 3D 自适应最大池化。 |
|
对由多个输入平面组成的输入信号应用 1D 自适应平均池化。 |
|
对由多个输入平面组成的输入信号应用 2D 自适应平均池化。 |
|
对由多个输入平面组成的输入信号应用 3D 自适应平均池化。 |
填充层¶
使用输入边界的反射来填充输入张量。 |
|
使用输入边界的反射来填充输入张量。 |
|
使用输入边界的反射来填充输入张量。 |
|
使用输入边界的复制来填充输入张量。 |
|
使用输入边界的复制来填充输入张量。 |
|
使用输入边界的复制来填充输入张量。 |
|
使用零填充输入张量边界。 |
|
使用零填充输入张量边界。 |
|
使用零填充输入张量边界。 |
|
使用常数值填充输入张量边界。 |
|
使用常数值填充输入张量边界。 |
|
使用常数值填充输入张量边界。 |
|
使用输入边界的循环填充来填充输入张量。 |
|
使用输入边界的循环填充来填充输入张量。 |
|
使用输入边界的循环填充来填充输入张量。 |
非线性激活函数(加权和,非线性)¶
逐元素应用指数线性单元 (ELU) 函数。 |
|
逐元素应用硬阈值函数 (Hardshrink)。 |
|
逐元素应用 Hardsigmoid 函数。 |
|
逐元素应用 HardTanh 函数。 |
|
逐元素应用 Hardswish 函数。 |
|
逐元素应用 LeakyReLU 函数。 |
|
逐元素应用 Logsigmoid 函数。 |
|
允许模型联合关注来自不同表示子空间的信息。 |
|
逐元素应用 PReLU 函数。 |
|
逐元素应用线性整流函数。 |
|
逐元素应用 ReLU6 函数。 |
|
逐元素应用随机泄漏线性整流函数。 |
|
逐元素应用 SELU 函数。 |
|
逐元素应用 CELU 函数。 |
|
应用高斯误差线性单元函数。 |
|
逐元素应用 Sigmoid 函数。 |
|
逐元素应用 Sigmoid 线性单元 (SiLU) 函数。 |
|
逐元素应用 Mish 函数。 |
|
逐元素应用 Softplus 函数。 |
|
逐元素应用软阈值函数。 |
|
逐元素应用 Softsign 函数。 |
|
逐元素应用双曲正切 (Tanh) 函数。 |
|
逐元素应用 Tanhshrink 函数。 |
|
对输入张量的每个元素进行阈值处理。 |
|
应用门控线性单元函数。 |
非线性激活函数(其他)¶
将 Softmin 函数应用于 n 维输入张量。 |
|
将 Softmax 函数应用于 n 维输入张量。 |
|
对每个空间位置的特征应用 SoftMax。 |
|
将 函数应用于 n 维输入张量。 |
|
高效的 softmax 近似。 |
归一化层¶
对 2D 或 3D 输入应用批量归一化。 |
|
对 4D 输入应用批量归一化。 |
|
对 5D 输入应用批量归一化。 |
|
具有延迟初始化的 |
|
具有延迟初始化的 |
|
具有延迟初始化的 |
|
对小批量输入应用组归一化。 |
|
对 N 维输入应用批量归一化。 |
|
应用实例归一化。 |
|
应用实例归一化。 |
|
应用实例归一化。 |
|
具有 |
|
具有 |
|
具有 |
|
对小批量输入应用层归一化。 |
|
对输入信号应用局部响应归一化。 |
|
对小批量输入应用均方根层归一化。 |
循环层¶
RNN 模块(RNN、LSTM、GRU)的基类。 |
|
将具有 或 非线性的多层 Elman RNN 应用于输入序列。 |
|
将多层长短期记忆 (LSTM) RNN 应用于输入序列。 |
|
将多层门控循环单元 (GRU) RNN 应用于输入序列。 |
|
具有 tanh 或 ReLU 非线性的 Elman RNN 单元。 |
|
长短期记忆 (LSTM) 单元。 |
|
门控循环单元 (GRU) 单元。 |
Transformer 层¶
Transformer 模型。 |
|
TransformerEncoder 是 N 个编码器层的堆栈。 |
|
TransformerDecoder 是 N 个解码器层的堆栈。 |
|
TransformerEncoderLayer 由自注意力机制和前馈网络组成。 |
|
TransformerDecoderLayer 由自注意力机制、多头注意力机制和前馈网络组成。 |
线性层¶
对参数不敏感的占位符恒等运算符。 |
|
对输入数据应用仿射线性变换:. |
|
对输入数据应用双线性变换:. |
|
一个 |
损失函数¶
创建一个标准,用于测量输入和目标中每个元素之间的平均绝对误差 (MAE)。 |
|
创建一个标准,用于测量输入和目标中每个元素之间的均方误差(平方 L2 范数)。 |
|
此标准计算输入 logits 和目标之间的交叉熵损失。 |
|
连接主义时间分类损失。 |
|
负对数似然损失。 |
|
具有泊松分布目标的负对数似然损失。 |
|
高斯负对数似然损失。 |
|
Kullback-Leibler 散度损失。 |
|
创建一个标准,用于测量目标与输入概率之间的二元交叉熵。 |
|
此损失在一个类中结合了Sigmoid层和BCELoss。 |
|
创建一个标准,用于测量给定输入、(两个一维小批量或零维张量)和标签一维小批量或零维张量(包含 1 或 -1)时的损失。 |
|
测量给定输入张量和标签张量(包含 1 或 -1)时的损失。 |
|
创建一个标准,用于优化输入(二维小批量张量)和输出(目标类索引的二维张量)之间的多类多分类铰链损失(基于边距的损失)。 |
|
创建一个标准,如果绝对元素误差低于 delta,则使用平方项;否则使用 delta 缩放的 L1 项。 |
|
创建一个标准,如果绝对元素误差低于 beta,则使用平方项;否则使用 L1 项。 |
|
创建一个标准,用于优化输入张量和目标张量(包含 1 或 -1)之间的两类分类逻辑损失。 |
|
创建一个标准,用于优化基于最大熵的多标签一对多损失,该损失介于大小为的输入和目标之间。 |
|
创建一个标准,用于测量给定输入张量、和张量标签(值为 1 或 -1)时的损失。 |
|
创建一个标准,用于优化输入(二维小批量张量)和输出(目标类索引的一维张量,)之间的多类分类铰链损失(基于边距的损失)。 |
|
创建一个标准,用于度量给定输入张量 、、 和大于 的边距值的 triplet 损失。 |
|
创建一个标准,用于度量给定输入张量 、 和 (分别表示锚点、正例和负例)的 triplet 损失,以及用于计算锚点与正例(“正距离”)和锚点与负例(“负距离”)之间关系的非负实值函数(“距离函数”)。 |
视觉层¶
根据放大因子重新排列张量中的元素。 |
|
反转 PixelShuffle 操作。 |
|
对给定的多通道一维(时间)、二维(空间)或三维(体积)数据进行上采样。 |
|
对由多个输入通道组成的输入信号应用二维最近邻上采样。 |
|
对由多个输入通道组成的输入信号应用二维双线性上采样。 |
数据并行层(多 GPU、分布式)¶
在模块级别实现数据并行。 |
|
在模块级别实现基于 |
实用程序¶
来自 torch.nn.utils
模块
用于裁剪参数梯度的实用函数。
裁剪可迭代参数的梯度范数。 |
|
裁剪可迭代参数的梯度范数。 |
|
将可迭代参数的梯度裁剪为指定值。 |
用于将模块参数展平为单个向量以及将单个向量取消展平为模块参数的实用函数。
将可迭代参数展平为单个向量。 |
|
将向量的切片复制到可迭代参数中。 |
用于将模块与 BatchNorm 模块融合的实用函数。
将卷积模块和 BatchNorm 模块融合为一个新的卷积模块。 |
|
将卷积模块参数和 BatchNorm 模块参数融合为新的卷积模块参数。 |
|
将线性模块和 BatchNorm 模块融合为一个新的线性模块。 |
|
将线性模块参数和 BatchNorm 模块参数融合为新的线性模块参数。 |
用于转换模块参数内存格式的实用函数。
将 |
|
将 |
用于应用和移除模块参数的权重归一化的实用函数。
对给定模块中的参数应用权重归一化。 |
|
从模块中移除权重归一化重新参数化。 |
|
对给定模块中的参数应用谱归一化。 |
|
从模块中移除谱归一化重新参数化。 |
用于初始化模块参数的实用函数。
给定一个模块类对象和 args/kwargs,在不初始化参数/缓冲区的情况下实例化模块。 |
用于修剪模块参数的实用类和函数。
用于创建新修剪技术的抽象基类。 |
|
包含一系列用于迭代修剪的修剪方法的容器。 |
|
实用修剪方法,不修剪任何单元,但使用一掩码生成修剪参数化。 |
|
随机修剪张量中(当前未修剪的)单元。 |
|
通过将具有最低 L1 范数的单元归零来修剪张量中(当前未修剪的)单元。 |
|
随机修剪张量中整个(当前未修剪的)通道。 |
|
根据其 L |
|
应用修剪重新参数化而不修剪任何单元。 |
|
通过移除随机(当前未修剪的)单元来修剪张量。 |
|
通过移除具有最低 L1 范数的单元来修剪张量。 |
|
通过沿指定维度移除随机通道来修剪张量。 |
|
通过沿指定维度移除具有最低 L |
|
通过应用指定的 |
|
通过应用 |
|
从模块中移除修剪重新参数化,并从前向钩子中移除修剪方法。 |
|
通过查找修剪预先钩子来检查模块是否被修剪。 |
使用 torch.nn.utils.parameterize.register_parametrization()
中的新参数化功能实现的参数化。
对矩阵或一批矩阵应用正交或酉参数化。 |
|
对给定模块中的参数应用权重归一化。 |
|
对给定模块中的参数应用谱归一化。 |
用于在现有模块上参数化张量的实用函数。请注意,这些函数可用于在给定从输入空间映射到参数化空间的特定函数的情况下,对给定参数或缓冲区进行参数化。它们不会将对象转换为参数的参数化。有关如何实现自己的参数化的更多信息,请参阅参数化教程。
将参数化注册到模块中的张量。 |
|
移除模块中张量上的参数化。 |
|
上下文管理器,用于在使用 |
|
确定模块是否具有参数化。 |
一个顺序容器,用于保存和管理参数化 |
用于以无状态方式调用给定模块的实用函数。
通过将模块参数和缓冲区替换为提供的参数和缓冲区,对模块执行函数调用。 |
其他模块中的实用函数
保存打包序列的数据和 |
|
打包包含可变长度填充序列的张量。 |
|
填充可变长度序列的打包批次。 |
|
使用 |
|
打包可变长度张量列表。 |
|
将 PackedSequence 解包为可变长度张量列表。 |
|
将填充张量解包为可变长度张量列表。 |
将连续的维度范围展平为张量。 |
|
取消展平张量维度,将其扩展为所需的形状。 |