快捷方式

torch.nn

这些是图的基本构建块

参数

一种被视为模块参数的张量。

未初始化参数

未初始化的参数。

未初始化缓冲区

未初始化的缓冲区。

容器

模块

所有神经网络模块的基类。

顺序

顺序容器。

模块列表

在列表中保存子模块。

模块字典

在字典中保存子模块。

参数列表

在列表中保存参数。

参数字典

在字典中保存参数。

模块的全局钩子

注册模块前向预处理钩子

注册所有模块通用的前向预处理钩子。

注册模块前向钩子

为所有模块注册全局前向钩子。

注册模块后向钩子

注册所有模块通用的后向钩子。

注册模块完整后向预处理钩子

注册所有模块通用的后向预处理钩子。

注册模块完整后向钩子

注册所有模块通用的后向钩子。

注册模块缓冲区注册钩子

注册所有模块通用的缓冲区注册钩子。

注册模块模块注册钩子

注册所有模块通用的模块注册钩子。

注册模块参数注册钩子

注册所有模块通用的参数注册钩子。

卷积层

nn.Conv1d

对由多个输入平面组成的输入信号应用一维卷积。

nn.Conv2d

对由多个输入平面组成的输入信号应用二维卷积。

nn.Conv3d

对由多个输入平面组成的输入信号应用三维卷积。

nn.ConvTranspose1d

对由多个输入平面组成的输入图像应用一维转置卷积运算符。

nn.ConvTranspose2d

对由多个输入平面组成的输入图像应用二维转置卷积运算符。

nn.ConvTranspose3d

对由多个输入平面组成的输入图像应用三维转置卷积运算符。

nn.LazyConv1d

具有 in_channels 参数惰性初始化的 torch.nn.Conv1d 模块。

nn.LazyConv2d

具有 in_channels 参数惰性初始化的 torch.nn.Conv2d 模块。

nn.LazyConv3d

具有 in_channels 参数惰性初始化的 torch.nn.Conv3d 模块。

nn.LazyConvTranspose1d

具有 in_channels 参数惰性初始化的 torch.nn.ConvTranspose1d 模块。

nn.LazyConvTranspose2d

具有 in_channels 参数惰性初始化的 torch.nn.ConvTranspose2d 模块。

nn.LazyConvTranspose3d

具有 in_channels 参数惰性初始化的 torch.nn.ConvTranspose3d 模块。

nn.Unfold

从批处理输入张量中提取滑动局部块。

nn.Fold

将滑动局部块数组组合成一个大的包含张量。

池化层

nn.MaxPool1d

对由多个输入平面组成的输入信号应用一维最大池化。

nn.MaxPool2d

对由多个输入平面组成的输入信号应用二维最大池化。

nn.MaxPool3d

对由多个输入平面组成的输入信号应用三维最大池化。

nn.MaxUnpool1d

计算 MaxPool1d 的部分逆运算。

nn.MaxUnpool2d

计算 MaxPool2d 的部分逆运算。

nn.MaxUnpool3d

计算 MaxPool3d 的部分逆运算。

nn.AvgPool1d

对由多个输入平面组成的输入信号应用一维平均池化。

nn.AvgPool2d

对由多个输入平面组成的输入信号应用二维平均池化。

nn.AvgPool3d

对由多个输入平面组成的输入信号应用三维平均池化。

nn.FractionalMaxPool2d

对由多个输入平面组成的输入信号应用二维分数最大池化。

nn.FractionalMaxPool3d

对由多个输入平面组成的输入信号应用 3D 分数最大池化。

nn.LPPool1d

对由多个输入平面组成的输入信号应用 1D 幂平均池化。

nn.LPPool2d

对由多个输入平面组成的输入信号应用 2D 幂平均池化。

nn.LPPool3d

对由多个输入平面组成的输入信号应用 3D 幂平均池化。

nn.AdaptiveMaxPool1d

对由多个输入平面组成的输入信号应用 1D 自适应最大池化。

nn.AdaptiveMaxPool2d

对由多个输入平面组成的输入信号应用 2D 自适应最大池化。

nn.AdaptiveMaxPool3d

对由多个输入平面组成的输入信号应用 3D 自适应最大池化。

nn.AdaptiveAvgPool1d

对由多个输入平面组成的输入信号应用 1D 自适应平均池化。

nn.AdaptiveAvgPool2d

对由多个输入平面组成的输入信号应用 2D 自适应平均池化。

nn.AdaptiveAvgPool3d

对由多个输入平面组成的输入信号应用 3D 自适应平均池化。

填充层

nn.ReflectionPad1d

使用输入边界的反射来填充输入张量。

nn.ReflectionPad2d

使用输入边界的反射来填充输入张量。

nn.ReflectionPad3d

使用输入边界的反射来填充输入张量。

nn.ReplicationPad1d

使用输入边界的复制来填充输入张量。

nn.ReplicationPad2d

使用输入边界的复制来填充输入张量。

nn.ReplicationPad3d

使用输入边界的复制来填充输入张量。

nn.ZeroPad1d

使用零填充输入张量边界。

nn.ZeroPad2d

使用零填充输入张量边界。

nn.ZeroPad3d

使用零填充输入张量边界。

nn.ConstantPad1d

使用常数值填充输入张量边界。

nn.ConstantPad2d

使用常数值填充输入张量边界。

nn.ConstantPad3d

使用常数值填充输入张量边界。

nn.CircularPad1d

使用输入边界的循环填充来填充输入张量。

nn.CircularPad2d

使用输入边界的循环填充来填充输入张量。

nn.CircularPad3d

使用输入边界的循环填充来填充输入张量。

非线性激活函数(加权和,非线性)

nn.ELU

逐元素应用指数线性单元 (ELU) 函数。

nn.Hardshrink

逐元素应用硬阈值函数 (Hardshrink)。

nn.Hardsigmoid

逐元素应用 Hardsigmoid 函数。

nn.Hardtanh

逐元素应用 HardTanh 函数。

nn.Hardswish

逐元素应用 Hardswish 函数。

nn.LeakyReLU

逐元素应用 LeakyReLU 函数。

nn.LogSigmoid

逐元素应用 Logsigmoid 函数。

nn.MultiheadAttention

允许模型联合关注来自不同表示子空间的信息。

nn.PReLU

逐元素应用 PReLU 函数。

nn.ReLU

逐元素应用线性整流函数。

nn.ReLU6

逐元素应用 ReLU6 函数。

nn.RReLU

逐元素应用随机泄漏线性整流函数。

nn.SELU

逐元素应用 SELU 函数。

nn.CELU

逐元素应用 CELU 函数。

nn.GELU

应用高斯误差线性单元函数。

nn.Sigmoid

逐元素应用 Sigmoid 函数。

nn.SiLU

逐元素应用 Sigmoid 线性单元 (SiLU) 函数。

nn.Mish

逐元素应用 Mish 函数。

nn.Softplus

逐元素应用 Softplus 函数。

nn.Softshrink

逐元素应用软阈值函数。

nn.Softsign

逐元素应用 Softsign 函数。

nn.Tanh

逐元素应用双曲正切 (Tanh) 函数。

nn.Tanhshrink

逐元素应用 Tanhshrink 函数。

nn.Threshold

对输入张量的每个元素进行阈值处理。

nn.GLU

应用门控线性单元函数。

非线性激活函数(其他)

nn.Softmin

将 Softmin 函数应用于 n 维输入张量。

nn.Softmax

将 Softmax 函数应用于 n 维输入张量。

nn.Softmax2d

对每个空间位置的特征应用 SoftMax。

nn.LogSoftmax

log(Softmax(x))\log(\text{Softmax}(x)) 函数应用于 n 维输入张量。

nn.AdaptiveLogSoftmaxWithLoss

高效的 softmax 近似。

归一化层

nn.BatchNorm1d

对 2D 或 3D 输入应用批量归一化。

nn.BatchNorm2d

对 4D 输入应用批量归一化。

nn.BatchNorm3d

对 5D 输入应用批量归一化。

nn.LazyBatchNorm1d

具有延迟初始化的 torch.nn.BatchNorm1d 模块。

nn.LazyBatchNorm2d

具有延迟初始化的 torch.nn.BatchNorm2d 模块。

nn.LazyBatchNorm3d

具有延迟初始化的 torch.nn.BatchNorm3d 模块。

nn.GroupNorm

对小批量输入应用组归一化。

nn.SyncBatchNorm

对 N 维输入应用批量归一化。

nn.InstanceNorm1d

应用实例归一化。

nn.InstanceNorm2d

应用实例归一化。

nn.InstanceNorm3d

应用实例归一化。

nn.LazyInstanceNorm1d

具有 num_features 参数延迟初始化的 torch.nn.InstanceNorm1d 模块。

nn.LazyInstanceNorm2d

具有 num_features 参数延迟初始化的 torch.nn.InstanceNorm2d 模块。

nn.LazyInstanceNorm3d

具有 num_features 参数延迟初始化的 torch.nn.InstanceNorm3d 模块。

nn.LayerNorm

对小批量输入应用层归一化。

nn.LocalResponseNorm

对输入信号应用局部响应归一化。

nn.RMSNorm

对小批量输入应用均方根层归一化。

循环层

nn.RNNBase

RNN 模块(RNN、LSTM、GRU)的基类。

nn.RNN

将具有 tanh\tanhReLU\text{ReLU} 非线性的多层 Elman RNN 应用于输入序列。

nn.LSTM

将多层长短期记忆 (LSTM) RNN 应用于输入序列。

nn.GRU

将多层门控循环单元 (GRU) RNN 应用于输入序列。

nn.RNNCell

具有 tanh 或 ReLU 非线性的 Elman RNN 单元。

nn.LSTMCell

长短期记忆 (LSTM) 单元。

nn.GRUCell

门控循环单元 (GRU) 单元。

Transformer 层

nn.Transformer

Transformer 模型。

nn.TransformerEncoder

TransformerEncoder 是 N 个编码器层的堆栈。

nn.TransformerDecoder

TransformerDecoder 是 N 个解码器层的堆栈。

nn.TransformerEncoderLayer

TransformerEncoderLayer 由自注意力机制和前馈网络组成。

nn.TransformerDecoderLayer

TransformerDecoderLayer 由自注意力机制、多头注意力机制和前馈网络组成。

线性层

nn.Identity

对参数不敏感的占位符恒等运算符。

nn.Linear

对输入数据应用仿射线性变换:y=xAT+by = xA^T + b.

nn.Bilinear

对输入数据应用双线性变换:y=x1TAx2+by = x_1^T A x_2 + b.

nn.LazyLinear

一个 torch.nn.Linear 模块,其中 in_features 是推断的。

丢弃层

nn.Dropout

在训练过程中,以概率 p 随机将输入张量的一些元素归零。

nn.Dropout1d

随机将整个通道归零。

nn.Dropout2d

随机将整个通道归零。

nn.Dropout3d

随机将整个通道归零。

nn.AlphaDropout

对输入应用 Alpha Dropout。

nn.FeatureAlphaDropout

随机屏蔽整个通道。

稀疏层

nn.Embedding

一个简单的查找表,存储固定字典和大小的嵌入。

nn.EmbeddingBag

计算嵌入“包”的总和或平均值,而无需实例化中间嵌入。

距离函数

nn.CosineSimilarity

返回x1x_1x2x_2之间的余弦相似度,沿着dim计算。

nn.PairwiseDistance

计算输入向量之间或输入矩阵列之间的成对距离。

损失函数

nn.L1Loss

创建一个标准,用于测量输入xx和目标yy中每个元素之间的平均绝对误差 (MAE)。

nn.MSELoss

创建一个标准,用于测量输入xx和目标yy中每个元素之间的均方误差(平方 L2 范数)。

nn.CrossEntropyLoss

此标准计算输入 logits 和目标之间的交叉熵损失。

nn.CTCLoss

连接主义时间分类损失。

nn.NLLLoss

负对数似然损失。

nn.PoissonNLLLoss

具有泊松分布目标的负对数似然损失。

nn.GaussianNLLLoss

高斯负对数似然损失。

nn.KLDivLoss

Kullback-Leibler 散度损失。

nn.BCELoss

创建一个标准,用于测量目标与输入概率之间的二元交叉熵。

nn.BCEWithLogitsLoss

此损失在一个类中结合了Sigmoid层和BCELoss

nn.MarginRankingLoss

创建一个标准,用于测量给定输入x1x1x2x2(两个一维小批量或零维张量)和标签一维小批量或零维张量yy(包含 1 或 -1)时的损失。

nn.HingeEmbeddingLoss

测量给定输入张量xx和标签张量yy(包含 1 或 -1)时的损失。

nn.MultiLabelMarginLoss

创建一个标准,用于优化输入xx(二维小批量张量)和输出yy(目标类索引的二维张量)之间的多类多分类铰链损失(基于边距的损失)。

nn.HuberLoss

创建一个标准,如果绝对元素误差低于 delta,则使用平方项;否则使用 delta 缩放的 L1 项。

nn.SmoothL1Loss

创建一个标准,如果绝对元素误差低于 beta,则使用平方项;否则使用 L1 项。

nn.SoftMarginLoss

创建一个标准,用于优化输入张量xx和目标张量yy(包含 1 或 -1)之间的两类分类逻辑损失。

nn.MultiLabelSoftMarginLoss

创建一个标准,用于优化基于最大熵的多标签一对多损失,该损失介于大小为(N,C)(N, C)的输入xx和目标yy之间。

nn.CosineEmbeddingLoss

创建一个标准,用于测量给定输入张量x1x_1x2x_2张量标签yy(值为 1 或 -1)时的损失。

nn.MultiMarginLoss

创建一个标准,用于优化输入xx(二维小批量张量)和输出yy(目标类索引的一维张量,0yx.size(1)10 \leq y \leq \text{x.size}(1)-1)之间的多类分类铰链损失(基于边距的损失)。

nn.TripletMarginLoss

创建一个标准,用于度量给定输入张量 x1x1x2x2x3x3 和大于 00 的边距值的 triplet 损失。

nn.TripletMarginWithDistanceLoss

创建一个标准,用于度量给定输入张量 aappnn(分别表示锚点、正例和负例)的 triplet 损失,以及用于计算锚点与正例(“正距离”)和锚点与负例(“负距离”)之间关系的非负实值函数(“距离函数”)。

视觉层

nn.PixelShuffle

根据放大因子重新排列张量中的元素。

nn.PixelUnshuffle

反转 PixelShuffle 操作。

nn.Upsample

对给定的多通道一维(时间)、二维(空间)或三维(体积)数据进行上采样。

nn.UpsamplingNearest2d

对由多个输入通道组成的输入信号应用二维最近邻上采样。

nn.UpsamplingBilinear2d

对由多个输入通道组成的输入信号应用二维双线性上采样。

混洗层

nn.ChannelShuffle

划分并重新排列张量中的通道。

数据并行层(多 GPU、分布式)

nn.DataParallel

在模块级别实现数据并行。

nn.parallel.DistributedDataParallel

在模块级别实现基于 torch.distributed 的分布式数据并行。

实用程序

来自 torch.nn.utils 模块

用于裁剪参数梯度的实用函数。

clip_grad_norm_

裁剪可迭代参数的梯度范数。

clip_grad_norm

裁剪可迭代参数的梯度范数。

clip_grad_value_

将可迭代参数的梯度裁剪为指定值。

用于将模块参数展平为单个向量以及将单个向量取消展平为模块参数的实用函数。

parameters_to_vector

将可迭代参数展平为单个向量。

vector_to_parameters

将向量的切片复制到可迭代参数中。

用于将模块与 BatchNorm 模块融合的实用函数。

fuse_conv_bn_eval

将卷积模块和 BatchNorm 模块融合为一个新的卷积模块。

fuse_conv_bn_weights

将卷积模块参数和 BatchNorm 模块参数融合为新的卷积模块参数。

fuse_linear_bn_eval

将线性模块和 BatchNorm 模块融合为一个新的线性模块。

fuse_linear_bn_weights

将线性模块参数和 BatchNorm 模块参数融合为新的线性模块参数。

用于转换模块参数内存格式的实用函数。

convert_conv2d_weight_memory_format

nn.Conv2d.weightmemory_format 转换为 memory_format

convert_conv3d_weight_memory_format

nn.Conv3d.weightmemory_format 转换为 memory_format。转换递归地应用于嵌套的 nn.Module,包括 module

用于应用和移除模块参数的权重归一化的实用函数。

weight_norm

对给定模块中的参数应用权重归一化。

remove_weight_norm

从模块中移除权重归一化重新参数化。

spectral_norm

对给定模块中的参数应用谱归一化。

remove_spectral_norm

从模块中移除谱归一化重新参数化。

用于初始化模块参数的实用函数。

skip_init

给定一个模块类对象和 args/kwargs,在不初始化参数/缓冲区的情况下实例化模块。

用于修剪模块参数的实用类和函数。

prune.BasePruningMethod

用于创建新修剪技术的抽象基类。

prune.PruningContainer

包含一系列用于迭代修剪的修剪方法的容器。

prune.Identity

实用修剪方法,不修剪任何单元,但使用一掩码生成修剪参数化。

prune.RandomUnstructured

随机修剪张量中(当前未修剪的)单元。

prune.L1Unstructured

通过将具有最低 L1 范数的单元归零来修剪张量中(当前未修剪的)单元。

prune.RandomStructured

随机修剪张量中整个(当前未修剪的)通道。

prune.LnStructured

根据其 Ln 范数修剪张量中整个(当前未修剪的)通道。

prune.CustomFromMask

prune.identity

应用修剪重新参数化而不修剪任何单元。

prune.random_unstructured

通过移除随机(当前未修剪的)单元来修剪张量。

prune.l1_unstructured

通过移除具有最低 L1 范数的单元来修剪张量。

prune.random_structured

通过沿指定维度移除随机通道来修剪张量。

prune.ln_structured

通过沿指定维度移除具有最低 Ln 范数的通道来修剪张量。

prune.global_unstructured

通过应用指定的 pruning_method 全局修剪对应于 parameters 中所有参数的张量。

prune.custom_from_mask

通过应用 mask 中预先计算的掩码,修剪 module 中名为 name 的参数对应的张量。

prune.remove

从模块中移除修剪重新参数化,并从前向钩子中移除修剪方法。

prune.is_pruned

通过查找修剪预先钩子来检查模块是否被修剪。

使用 torch.nn.utils.parameterize.register_parametrization() 中的新参数化功能实现的参数化。

parametrizations.orthogonal

对矩阵或一批矩阵应用正交或酉参数化。

parametrizations.weight_norm

对给定模块中的参数应用权重归一化。

parametrizations.spectral_norm

对给定模块中的参数应用谱归一化。

用于在现有模块上参数化张量的实用函数。请注意,这些函数可用于在给定从输入空间映射到参数化空间的特定函数的情况下,对给定参数或缓冲区进行参数化。它们不会将对象转换为参数的参数化。有关如何实现自己的参数化的更多信息,请参阅参数化教程

parametrize.register_parametrization

将参数化注册到模块中的张量。

parametrize.remove_parametrizations

移除模块中张量上的参数化。

parametrize.cached

上下文管理器,用于在使用 register_parametrization() 注册的参数化中启用缓存系统。

parametrize.is_parametrized

确定模块是否具有参数化。

parametrize.ParametrizationList

一个顺序容器,用于保存和管理参数化 torch.nn.Module 的原始参数或缓冲区。

用于以无状态方式调用给定模块的实用函数。

stateless.functional_call

通过将模块参数和缓冲区替换为提供的参数和缓冲区,对模块执行函数调用。

其他模块中的实用函数

nn.utils.rnn.PackedSequence

保存打包序列的数据和 batch_sizes 列表。

nn.utils.rnn.pack_padded_sequence

打包包含可变长度填充序列的张量。

nn.utils.rnn.pad_packed_sequence

填充可变长度序列的打包批次。

nn.utils.rnn.pad_sequence

使用 padding_value 填充可变长度张量列表。

nn.utils.rnn.pack_sequence

打包可变长度张量列表。

nn.utils.rnn.unpack_sequence

将 PackedSequence 解包为可变长度张量列表。

nn.utils.rnn.unpad_sequence

将填充张量解包为可变长度张量列表。

nn.Flatten

将连续的维度范围展平为张量。

nn.Unflatten

取消展平张量维度,将其扩展为所需的形状。

量化函数

量化是指以低于浮点精度的位宽执行计算和存储张量的技术。PyTorch 支持每张量和每通道非对称线性量化。要了解更多关于如何在 PyTorch 中使用量化函数的信息,请参阅量化文档。

延迟模块初始化

nn.modules.lazy.LazyModuleMixin

用于延迟初始化参数的模块的混合,也称为“延迟模块”。

别名

以下是 torch.nn 中对应项的别名

nn.modules.normalization.RMSNorm

对小批量输入应用均方根层归一化。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

为初学者和高级开发人员提供深入的教程

查看教程

资源

查找开发资源并获得您的问题的答案

查看资源