欢迎来到 PyTorch 教程

PyTorch 教程的新内容？

• 使用 torch.compiler.set_stance 进行动态编译控制

• 通过用嵌套张量和 torch.compile() 替换 nn.Transformer 来加速 PyTorch Transformer

• 理解 torch.export 流和常见挑战的解决方案

• 更新了 torch.export 教程，具有自动动态形状 Dim.AUTO

• 更新了 用于 Python 运行时的 torch.export AOTInductor 教程

• 更新了 将用户定义的 Triton 内核与 torch.compile 结合使用，具有新的 torch.library.triton_op

学习基础知识

熟悉 PyTorch 的概念和模块。在本快速入门指南中，学习如何加载数据、构建深度神经网络、训练和保存模型。

开始使用 PyTorch

PyTorch 食谱

可立即部署的 PyTorch 代码示例。

探索食谱

---

学习基础知识

构建完整的 PyTorch ML 工作流程的分步指南。

入门

YouTube 上的 PyTorch 简介

PyTorch ML 工作流程构建简介。遵循 YouTube 上的 PyTorch 初学者系列。

入门

通过示例学习 PyTorch

本教程通过独立的示例介绍 PyTorch 的基本概念。

入门

torch.nn 到底是什么？

使用 torch.nn 创建和训练神经网络。

入门

使用 TensorBoard 可视化模型、数据和训练

学习使用 TensorBoard 可视化数据和模型训练。

可解释性、入门、TensorBoard

在 PyTorch 中良好使用 `non_blocking` 和 `pin_memory()`

关于将数据从 CPU 复制到 GPU 的最佳实践指南。

入门

TorchVision 目标检测微调教程

微调预训练的 Mask R-CNN 模型。

图像/视频

计算机视觉迁移学习教程

使用迁移学习训练用于图像分类的卷积神经网络。

图像/视频

优化视觉 Transformer 模型

将前沿的基于注意力的 Transformer 模型应用于计算机视觉任务。

图像/视频

对抗样本生成

使用迁移学习训练用于图像分类的卷积神经网络。

图像/视频

DCGAN 教程

训练生成对抗网络 (GAN) 以生成新的名人。

图像/视频

空间变换器网络教程

了解如何使用视觉注意力机制增强您的网络。

图像/视频

使用 TIAToolbox 对全切片图像进行推理

了解如何使用 TIAToolbox 对全切片图像执行推理。

图像/视频

基于 USB 的半监督学习教程

了解如何使用 USB 和 PyTorch（在自定义数据上）训练半监督学习算法。

图像/视频

音频 IO

学习使用 torchaudio 加载数据。

音频

音频重采样

学习使用 torchaudio 对音频波形进行重采样。

音频

音频数据增强

学习使用 torchaudio 应用数据增强。

音频

音频特征提取

学习使用 torchaudio 提取特征。

音频

音频特征增强

学习使用 torchaudio 增强特征。

音频

音频数据集

学习使用 torchaudio 数据集。

音频

在 torchaudio 中使用 Wav2Vec2 进行自动语音识别

学习如何使用 torchaudio 的预训练模型构建语音识别应用程序。

音频

语音命令分类

学习如何正确格式化音频数据集，然后在数据集上训练/测试音频分类器网络。

音频

使用 torchaudio 进行文本到语音转换

学习如何使用 torchaudio 的预训练模型构建文本到语音转换应用程序。

音频

在 torchaudio 中使用 Wav2Vec2 进行强制对齐

学习如何使用 torchaudio 的 Wav2Vec2 预训练模型将文本与语音对齐

音频

从零开始的 NLP：使用字符级 RNN 对名称进行分类

构建和训练基本的字符级 RNN，以从头开始对单词进行分类，而无需使用 torchtext。三个教程系列中的第一个。

NLP

从零开始的 NLP：使用字符级 RNN 生成名称

在使用字符级 RNN 对名称进行分类后，学习如何从语言生成名称。三个教程系列中的第二个。

NLP

从零开始的 NLP：使用序列到序列网络和注意力进行翻译

这是关于“从零开始的 NLP”的第三个也是最后一个教程，我们将在其中编写自己的类和函数来预处理数据以执行 NLP 建模任务。

NLP

（可选）使用 TorchDynamo 后端将 PyTorch 模型导出到 ONNX 并使用 ONNX Runtime 运行它

在 PyTorch 中构建图像分类器模型，并在使用 ONNX Runtime 部署之前将其转换为 ONNX。

生产、ONNX、后端

ONNX Registry 简介

演示如何通过使用 ONNX Registry 端到端地解决不受支持的运算符。

生产、ONNX、后端

强化学习 (DQN)

学习如何使用 PyTorch 在 OpenAI Gym 中的 CartPole-v0 任务上训练深度 Q 学习 (DQN) 代理。

强化学习

使用 TorchRL 的强化学习 (PPO)

学习如何使用 PyTorch 和 TorchRL 在 Gym 中的倒立摆任务上训练近端策略优化代理。

强化学习

训练玩马里奥的 RL 代理

使用 PyTorch 训练 Double Q-learning 代理来玩马里奥。

强化学习

循环 DQN

使用 TorchRL 训练循环策略

强化学习

编写 DDPG 损失

使用 TorchRL 编写 DDPG 损失

强化学习

编写您的环境和变换

使用 TorchRL 编写 Pendulum

强化学习

通过带有 Flask 的 REST API 在 Python 中部署 PyTorch

部署 PyTorch 模型，使用 Flask 公开 REST API 以进行模型推理，并使用预训练的 DenseNet 121 模型检测图像的示例。

生产

TorchScript 简介

TorchScript 简介，它是 PyTorch 模型（nn.Module 的子类）的中间表示，然后可以在 C++ 等高性能环境中运行。

生产、TorchScript

在 C++ 中加载 TorchScript 模型

了解 PyTorch 如何从现有的 Python 模型转换为可以纯粹从 C++ 加载和执行的序列化表示，而无需依赖 Python。

生产、TorchScript

（可选）使用 TorchScript 后端将 PyTorch 模型导出到 ONNX 并使用 ONNX Runtime 运行它

将 PyTorch 中定义的模型转换为 ONNX 格式，然后使用 ONNX Runtime 运行它。

生产、ONNX

PyTorch 性能分析

了解如何分析 PyTorch 应用程序

性能分析

_static/img/thumbnails/default.png

PyTorch 性能分析

Holistic Trace Analysis 简介

性能分析

_static/img/thumbnails/default.png

PyTorch 性能分析

使用 Holistic Trace Analysis 进行 Trace Diff

性能分析

_static/img/thumbnails/default.png

在 FX 中构建卷积/批归一化融合器

构建一个简单的 FX 传递，将批归一化融合到卷积中，以提高推理期间的性能。

FX

使用 FX 构建简单的性能分析器

构建一个简单的 FX 解释器，以记录 op、模块和函数调用的运行时，并报告统计信息

FX

（beta）PyTorch 中的 Channels Last 内存格式

概述 Channels Last 内存格式，并了解它如何在内存中对 NCHW 张量进行排序，同时保留维度。

内存格式、最佳实践、前端 API

使用 PyTorch C++ 前端

通过训练 DCGAN（一种生成模型）来生成 MNIST 数字图像，逐步完成使用 C++ 前端训练模型的端到端示例。

前端 API、C++

PyTorch 自定义运算符登陆页

这是与 PyTorch 中自定义运算符相关的所有内容的登陆页。

扩展 PyTorch、前端 API、C++、CUDA

自定义 Python 运算符

在 Python 中创建自定义运算符。对于黑盒 Python 函数以与 torch.compile 一起使用很有用。

扩展 PyTorch、前端 API、C++、CUDA

编译的 Autograd：为 ``torch.compile`` 捕获更大的反向图

了解如何使用编译的 autograd 捕获更大的反向图。

模型优化、CUDA

自定义 C++ 和 CUDA 运算符

如何使用自定义 C++ 和 CUDA 运算符扩展 PyTorch。

扩展 PyTorch、前端 API、C++、CUDA

自定义 C++ 和 CUDA 扩展

使用 numpy 创建没有参数的神经网络层。然后使用 scipy 创建具有可学习权重的神经网络层。

扩展 PyTorch、前端 API、C++、CUDA

使用自定义 C++ 运算符扩展 TorchScript

在 C++ 中实现自定义 TorchScript 运算符，如何将其构建到共享库中，如何在 Python 中使用它来定义 TorchScript 模型，最后是如何将其加载到 C++ 应用程序以进行推理工作负载。

扩展 PyTorch、前端 API、TorchScript、C++

使用自定义 C++ 类扩展 TorchScript

这是自定义运算符教程的延续，并介绍了我们为将 C++ 类同时绑定到 TorchScript 和 Python 而构建的 API。

扩展 PyTorch、前端 API、TorchScript、C++

TorchScript 中的动态并行性

本教程介绍了在 TorchScript 中进行 *动态互操作并行性* 的语法。

前端 API、TorchScript、C++

Raspberry Pi 4 上的实时推理

本教程介绍了如何在 Raspberry Pi 4 上以 30 fps 运行量化和融合模型。

TorchScript、模型优化、图像/视频、量化

C++ 前端中的 Autograd

autograd 包有助于构建灵活且动态的神经网络。在本教程中，探索在 PyTorch C++ 前端中进行 autograd 的几个示例

前端 API、C++

在 C++ 中注册调度的运算符

调度器是 PyTorch 的内部组件，负责在您调用诸如 torch::add 之类的函数时，确定实际应运行的代码。

扩展 PyTorch、前端 API、C++

在 C++ 中为新的后端扩展调度器

了解如何扩展调度器以添加驻留在 pytorch/pytorch 仓库之外的新设备，并维护它以与原生 PyTorch 设备保持同步。

扩展 PyTorch、前端 API、C++

通过 PrivateUse1 促进新的后端集成

了解如何集成驻留在 pytorch/pytorch 仓库之外的新后端，并维护它以与原生 PyTorch 后端保持同步。

扩展 PyTorch、前端 API、C++

自定义函数教程：双重反向传播

学习如何编写支持双重反向传播的自定义 autograd 函数。

扩展 PyTorch、前端 API

自定义函数教程：融合卷积和批归一化

学习如何创建将批归一化融合到卷积中的自定义 autograd 函数，以提高内存使用率。

扩展 PyTorch、前端 API

前向模式自动微分

了解如何使用前向模式自动微分。

前端 API

Jacobians、Hessians、hvp、vhp 等

了解如何使用 torch.func 计算高级自动微分量

前端 API

模型集成

了解如何使用 torch.vmap 集成模型

前端 API

按样本梯度

了解如何使用 torch.func 计算按样本梯度

前端 API

神经切线核

了解如何使用 torch.func 计算神经切线核

前端 API

PyTorch 中的性能分析

了解如何使用 PyTorch Profiler 来基准测试模块的性能。

模型优化、最佳实践、性能分析

TensorBoard 中的性能分析

了解如何使用 TensorBoard 插件来分析和分析模型的性能。

模型优化、最佳实践、性能分析、TensorBoard

超参数调整教程

学习如何使用 Ray Tune 为您的模型找到最佳性能的超参数集。

模型优化、最佳实践

参数化教程

了解如何使用 torch.nn.utils.parametrize 对您的参数施加约束（例如，使其正交、对称正定、低秩...）

模型优化、最佳实践

剪枝教程

了解如何使用 torch.nn.utils.prune 来稀疏化您的神经网络，以及如何扩展它以实现您自己的自定义剪枝技术。

模型优化、最佳实践

如何通过将优化器步骤融合到反向传播中来节省内存

学习一种通过使用内存快照将优化器步骤融合到反向传播中来节省内存的技术。

模型优化、最佳实践、CUDA、前端 API

（beta）使用半结构化稀疏性加速 BERT

训练 BERT，将其剪枝为 2:4 稀疏，然后使用半结构化稀疏性和 torch.compile 加速它以实现 2 倍的推理加速。

文本、模型优化

（beta）LSTM 词语言模型上的动态量化

将动态量化（最简单的量化形式）应用于基于 LSTM 的下一个单词预测模型。

文本、量化、模型优化

（beta）BERT 上的动态量化

在 BERT（来自 Transformer 的双向嵌入表示）模型上应用动态量化。

文本、量化、模型优化

（beta）计算机视觉迁移学习的量化

使用量化模型扩展计算机视觉迁移学习教程。

图像/视频、量化、模型优化

（beta）PyTorch 中使用 Eager 模式的静态量化

本教程展示了如何进行训练后静态量化。

量化

从第一性原理剖析 PyTorch Intel CPU 性能

关于使用 Intel® Extension for PyTorch 优化的 TorchServe 推理框架的案例研究。

模型优化、生产

从第一性原理剖析 PyTorch Intel CPU 性能（第 2 部分）

关于使用 Intel® Extension for PyTorch 优化的 TorchServe 推理框架的案例研究（第 2 部分）。

模型优化、生产

使用 Ax 进行多目标神经架构搜索

学习如何使用 Ax 搜索架构，找到准确性和延迟之间的最佳权衡。

模型优化、最佳实践、Ax、TorchX

torch.compile 教程

使用 torch.compile（最新的 PyTorch 编译器解决方案）以最少的代码更改加速您的模型。

模型优化

Inductor CPU 后端调试和性能分析

了解使用 torch.compile 和 Inductor CPU 后端进行调试和性能分析的方法。

模型优化

（beta）使用缩放点积注意力实现高性能 TRANSFORMER

本教程探讨了新的 torch.nn.functional.scaled_dot_product_attention 以及如何使用它来构建 Transformer 组件。

模型优化、注意力机制、Transformer

卷积神经网络中的知识蒸馏

学习如何使用更强大的模型作为教师来提高轻量级模型的准确性。

模型优化、图像/视频

通过用嵌套张量和 torch.compile() 替换 nn.Transformer 来加速 PyTorch Transformer

本教程回顾了使用原生 PyTorch 实现 Transformer 的推荐最佳实践。

Transformer

PyTorch 分布式概述

简要概述分布式包中的所有概念和功能。使用本文档查找最适合您应用程序的分布式训练技术。

并行和分布式训练

PyTorch 分布式数据并行 - 视频教程

这一系列视频教程将引导您了解通过 DDP 在 PyTorch 中进行分布式训练。

并行和分布式训练

单机模型并行最佳实践

了解如何实现模型并行，这是一种分布式训练技术，它将单个模型拆分到不同的 GPU 上，而不是在每个 GPU 上复制整个模型

并行和分布式训练

分布式数据并行入门

了解何时使用分布式数据并行与数据并行的基础知识，并通过一个示例来设置它。

并行和分布式训练

使用 PyTorch 编写分布式应用程序

设置 PyTorch 的分布式包，使用不同的通信策略，并回顾该包的一些内部原理。

并行和分布式训练

使用张量并行进行大规模 Transformer 模型训练

了解如何使用张量并行包训练大型模型。

并行和分布式训练

使用 Cpp 扩展自定义进程组后端

使用自定义集合通信实现扩展 ProcessGroup。

并行和分布式训练

分布式 RPC 框架入门

了解如何使用 torch.distributed.rpc 包构建分布式训练。

并行和分布式训练

使用分布式 RPC 框架实现参数服务器

通过一个简单的示例，了解如何使用 PyTorch 的分布式 RPC 框架实现参数服务器。

并行和分布式训练

分布式流水线并行简介

演示如何使用 torch.distributed.pipelining 实现流水线并行

并行和分布式训练

使用异步执行实现批量 RPC 处理

了解如何使用 rpc.functions.async_execution 实现批量 RPC

并行和分布式训练

将分布式数据并行与分布式 RPC 框架相结合

通过一个简单的示例，了解如何将分布式数据并行与分布式模型并行结合使用。

并行和分布式训练

完全分片数据并行 (FSDP) 入门

了解如何使用完全分片数据并行包训练模型。

并行和分布式训练

使用完全分片数据并行 (FSDP) 的高级模型训练

探索使用完全分片数据并行包进行的高级模型训练。

并行和分布式训练

Libuv TCPStore 后端简介

TCPStore 现在使用新的服务器后端，以实现更快的连接和更好的可扩展性。

并行和分布式训练

导出到 ExecuTorch 教程

了解如何使用 ExecuTorch，这是一个统一的 ML 堆栈，用于将 PyTorch 模型降低到边缘设备。

边缘

在 C++ 中运行 ExecuTorch 模型教程

了解如何在 C++ 中加载和执行 ExecuTorch 模型

边缘

使用 ExecuTorch SDK 分析模型

探索如何使用 ExecuTorch SDK 来分析、调试和可视化 ExecuTorch 模型

边缘

构建 ExecuTorch iOS 演示应用程序

探索如何设置 ExecuTorch iOS 演示应用程序，该应用程序使用 MobileNet v3 模型处理实时相机图像，利用三个不同的后端：XNNPACK、Core ML 和 Metal Performance Shaders (MPS)。

边缘

构建 ExecuTorch Android 演示应用程序

了解如何设置 ExecuTorch Android 演示应用程序，以使用 DeepLab v3 模型和 XNNPACK FP32 后端进行图像分割任务。

边缘

将模型作为委托进行降低

学习如何通过三种方法使用委托来加速您的程序：降低整个模块、将其与另一个模块组合以及划分模块的各个部分。

边缘

TorchRec 简介

TorchRec 是一个 PyTorch 领域库，旨在提供大规模推荐系统所需的常见稀疏性和并行性原语。

TorchRec、推荐

探索 TorchRec 分片

本教程介绍了通过使用 EmbeddingPlanner 和 DistributedModelParallel API 对嵌入表进行分片的方法。

TorchRec、推荐

TorchMultimodal 简介

TorchMultimodal 是一个库，提供用于训练多模态任务的模型、原语和示例

TorchMultimodal

其他资源

PyTorch 示例

一组围绕 PyTorch 在视觉、文本、强化学习方面的示例，您可以将其纳入您现有的工作中。

查看示例

PyTorch 速查表

基本 PyTorch 元素的快速概述。

打开

GitHub 上的教程

从 GitHub 访问 PyTorch 教程。

转到 GitHub

在 Google Colab 上运行教程

了解如何将教程数据复制到 Google Drive，以便您可以在 Google Colab 上运行教程。

打开