• 文档 >
  • torch.nn.functional
快捷方式

torch.nn.functional

卷积函数

conv1d

对由多个输入平面组成的输入信号应用一维卷积。

conv2d

对由多个输入平面组成的输入图像应用二维卷积。

conv3d

对由多个输入平面组成的输入图像应用三维卷积。

conv_transpose1d

对由多个输入平面组成的输入信号应用一维转置卷积运算符,有时也称为“反卷积”。

conv_transpose2d

对由多个输入平面组成的输入图像应用二维转置卷积运算符,有时也称为“反卷积”。

conv_transpose3d

对由多个输入平面组成的输入图像应用三维转置卷积运算符,有时也称为“反卷积”。

unfold

从批处理输入张量中提取滑动局部块。

fold

将滑动局部块数组组合成一个大型的包含张量。

池化函数

avg_pool1d

对由多个输入平面组成的输入信号应用一维平均池化。

avg_pool2d

kH×kWkH \times kW 区域中应用二维平均池化操作,步长为 sH×sWsH \times sW

avg_pool3d

kT×kH×kWkT \times kH \times kW 区域中应用三维平均池化操作,步长为 sT×sH×sWsT \times sH \times sW

max_pool1d

对由多个输入平面组成的输入信号应用一维最大池化。

max_pool2d

对由多个输入平面组成的输入信号应用二维最大池化。

max_pool3d

对由多个输入平面组成的输入信号应用三维最大池化。

max_unpool1d

计算 MaxPool1d 的部分逆。

max_unpool2d

计算 MaxPool2d 的部分逆。

max_unpool3d

计算 MaxPool3d 的部分逆。

lp_pool1d

对由多个输入平面组成的输入信号应用一维幂平均池化。

lp_pool2d

对由多个输入平面组成的输入信号应用二维幂平均池化。

lp_pool3d

对由多个输入平面组成的输入信号应用三维幂平均池化。

adaptive_max_pool1d

对由多个输入平面组成的输入信号应用一维自适应最大池化。

adaptive_max_pool2d

对由多个输入平面组成的输入信号应用二维自适应最大池化。

adaptive_max_pool3d

对由多个输入平面组成的输入信号应用三维自适应最大池化。

adaptive_avg_pool1d

对由多个输入平面组成的输入信号应用一维自适应平均池化。

adaptive_avg_pool2d

对由多个输入平面组成的输入信号应用二维自适应平均池化。

adaptive_avg_pool3d

对由多个输入平面组成的输入信号应用三维自适应平均池化。

fractional_max_pool2d

对由多个输入平面组成的输入信号应用二维分数最大池化。

fractional_max_pool3d

对由多个输入平面组成的输入信号应用三维分数最大池化。

注意力机制

torch.nn.attention.bias 模块包含 attention_biases,这些 biases 旨在与 scaled_dot_product_attention 一起使用。

scaled_dot_product_attention

scaled_dot_product_attention(query, key, value, attn_mask=None, dropout_p=0.0,

非线性激活函数

threshold

对输入张量的每个元素应用阈值。

threshold_

threshold() 的就地版本。

relu

逐元素应用整流线性单元函数。

relu_

relu() 的就地版本。

hardtanh

逐元素应用 HardTanh 函数。

hardtanh_

hardtanh() 的就地版本。

hardswish

逐元素应用 hardswish 函数。

relu6

逐元素应用函数 ReLU6(x)=min(max(0,x),6)\text{ReLU6}(x) = \min(\max(0,x), 6).

elu

逐元素应用指数线性单元 (ELU) 函数。

elu_

elu() 的就地版本。

selu

逐元素应用 SELU(x)=scale(max(0,x)+min(0,α(exp(x)1)))\text{SELU}(x) = scale * (\max(0,x) + \min(0, \alpha * (\exp(x) - 1))), 其中 α=1.6732632423543772848170429916717\alpha=1.6732632423543772848170429916717scale=1.0507009873554804934193349852946scale=1.0507009873554804934193349852946.

celu

逐元素应用 CELU(x)=max(0,x)+min(0,α(exp(x/α)1))\text{CELU}(x) = \max(0,x) + \min(0, \alpha * (\exp(x/\alpha) - 1)) 函数。

leaky_relu

逐元素应用 LeakyReLU(x)=max(0,x)+negative_slopemin(0,x)\text{LeakyReLU}(x) = \max(0, x) + \text{negative\_slope} * \min(0, x) 函数。

leaky_relu_

leaky_relu() 的就地版本。

prelu

逐元素应用函数 PReLU(x)=max(0,x)+weightmin(0,x)\text{PReLU}(x) = \max(0,x) + \text{weight} * \min(0,x),其中 weight 是一个可学习的参数。

rrelu

随机泄漏 ReLU。

rrelu_

rrelu() 的就地版本。

glu

门控线性单元。

gelu

当近似参数为“none”时,它会对元素应用函数GELU(x)=xΦ(x)\text{GELU}(x) = x * \Phi(x)

logsigmoid

对元素应用LogSigmoid(xi)=log(11+exp(xi))\text{LogSigmoid}(x_i) = \log \left(\frac{1}{1 + \exp(-x_i)}\right)

hardshrink

对元素应用硬阈值收缩函数。

tanhshrink

对元素应用Tanhshrink(x)=xTanh(x)\text{Tanhshrink}(x) = x - \text{Tanh}(x)

softsign

对元素应用函数SoftSign(x)=x1+x\text{SoftSign}(x) = \frac{x}{1 + |x|}

softplus

对元素应用函数Softplus(x)=1βlog(1+exp(βx))\text{Softplus}(x) = \frac{1}{\beta} * \log(1 + \exp(\beta * x)).

softmin

应用softmin函数。

softmax

应用softmax函数。

softshrink

对元素应用软阈值收缩函数。

gumbel_softmax

从Gumbel-Softmax分布中采样(链接1 链接2),并可选地进行离散化。

log_softmax

应用softmax函数,然后取对数。

tanh

对元素应用Tanh(x)=tanh(x)=exp(x)exp(x)exp(x)+exp(x)\text{Tanh}(x) = \tanh(x) = \frac{\exp(x) - \exp(-x)}{\exp(x) + \exp(-x)}

sigmoid

对元素应用函数 Sigmoid(x)=11+exp(x)\text{Sigmoid}(x) = \frac{1}{1 + \exp(-x)}

硬Sigmoid

逐元素应用Hardsigmoid函数。

silu

逐元素应用Sigmoid线性单元(SiLU)函数。

mish

逐元素应用Mish函数。

batch_norm

对一批数据中每个通道应用批标准化。

group_norm

对最后几个维度应用组标准化。

instance_norm

对批处理中每个数据样本的每个通道独立应用实例标准化。

layer_norm

对最后几个维度应用层标准化。

local_response_norm

对输入信号应用局部响应归一化。

rms_norm

应用均方根层标准化。

normalize

在指定维度上对输入执行LpL_p范数归一化。

线性函数

linear

对传入数据应用线性变换: y=xAT+by = xA^T + b.

双线性

对传入数据应用双线性变换: y=x1TAx2+by = x_1^T A x_2 + b.

Dropout函数

dropout

在训练期间,以概率 p随机将输入张量中的一些元素置零。

alpha_dropout

对输入应用alpha dropout。

feature_alpha_dropout

随机屏蔽整个通道(通道是特征图)。

dropout1d

随机清零整个通道(通道是一维特征图)。

dropout2d

随机清零整个通道(通道是二维特征图)。

dropout3d

随机清零整个通道(通道是三维特征图)。

稀疏函数

embedding

生成一个简单的查找表,在固定字典和大小中查找嵌入。

embedding_bag

计算嵌入“包”的和、平均值或最大值。

one_hot

接收形状为 (*) 的包含索引值的LongTensor,并返回形状为 (*, num_classes) 的张量,其中除了最后维度索引与输入张量对应值匹配的地方为1外,其他地方都为0。

距离函数

pairwise_distance

有关详细信息,请参阅 torch.nn.PairwiseDistance

cosine_similarity

返回沿dim计算的 x1x2 之间的余弦相似度。

pdist

计算输入中每一对行向量之间的p范数距离。

损失函数

binary_cross_entropy

测量目标和输入概率之间的二元交叉熵。

binary_cross_entropy_with_logits

计算目标和输入logit之间的二元交叉熵。

poisson_nll_loss

泊松负对数似然损失。

cosine_embedding_loss

有关详细信息,请参阅 CosineEmbeddingLoss

cross_entropy

计算输入logit和目标之间的交叉熵损失。

ctc_loss

应用连接时序分类损失。

gaussian_nll_loss

高斯负对数似然损失。

hinge_embedding_loss

有关详细信息,请参阅 HingeEmbeddingLoss

kl_div

计算KL散度损失。

l1_loss

计算元素级绝对值差的平均值。

mse_loss

测量元素级均方误差。

margin_ranking_loss

有关详细信息,请参阅 MarginRankingLoss

multilabel_margin_loss

有关详细信息,请参阅 MultiLabelMarginLoss

multilabel_soft_margin_loss

有关详细信息,请参阅 MultiLabelSoftMarginLoss

multi_margin_loss

有关详细信息,请参阅 MultiMarginLoss

nll_loss

计算负对数似然损失。

huber_loss

计算Huber损失。

smooth_l1_loss

计算平滑L1损失。

soft_margin_loss

有关详细信息,请参阅 SoftMarginLoss

triplet_margin_loss

计算给定输入张量之间的三元组损失,其边距大于0。

triplet_margin_with_distance_loss

使用自定义距离函数计算输入张量的三元组边距损失。

视觉函数

pixel_shuffle

重新排列形状为 (,C×r2,H,W)(*, C \times r^2, H, W) 张量的元素,使其变为形状为 (,C,H×r,W×r)(*, C, H \times r, W \times r) 的张量,其中 r 是 upscale_factor

像素反混叠 (pixel_unshuffle)

通过重新排列形状为 (,C,H×r,W×r)(*, C, H \times r, W \times r) 张量的元素,反转 PixelShuffle 操作,使其变为形状为 (,C×r2,H,W)(*, C \times r^2, H, W) 的张量,其中 r 是 downscale_factor

填充 (pad)

填充张量。

插值 (interpolate)

对输入进行下采样或上采样。

上采样 (upsample)

对输入进行上采样。

最近邻上采样 (upsample_nearest)

使用最近邻像素值对输入进行上采样。

双线性上采样 (upsample_bilinear)

使用双线性插值对输入进行上采样。

网格采样 (grid_sample)

计算网格采样。

仿射网格 (affine_grid)

给定一批仿射矩阵 theta,生成 2D 或 3D 流场(采样网格)。

DataParallel 函数(多GPU,分布式)

data_parallel

torch.nn.parallel.data_parallel

在 device_ids 中给定的 GPU 上并行评估模块 (input)。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源