PyTorch 秘籍¶

秘籍是短小精悍、可操作的示例，展示了如何使用特定的 PyTorch 功能，与我们的完整教程不同。

定义神经网络

了解如何使用 PyTorch 的 torch.nn 包为 MNIST 数据集创建和定义神经网络。

基础知识

PyTorch 中的 state_dict 是什么

了解 state_dict 对象和 Python 字典在 PyTorch 模型保存或加载中的用法。

基础知识

在 PyTorch 中保存和加载模型以进行推理

了解在 PyTorch 中保存和加载模型以进行推理的两种方法 - 通过 state_dict 和通过整个模型。

基础知识

在 PyTorch 中保存和加载通用检查点

保存和加载通用检查点模型以进行推理或恢复训练，有助于从上次中断的地方继续。在本秘籍中，探索如何保存和加载多个检查点。

基础知识

使用 PyTorch 在一个文件中保存和加载多个模型

在本秘籍中，了解保存和加载多个模型如何有助于重用之前训练过的模型。

基础知识

在 PyTorch 中使用来自不同模型的参数进行模型热启动

了解通过部分加载模型或加载部分模型来热启动训练过程，可以帮助你的模型比从头训练更快地收敛。

基础知识

在 PyTorch 中跨设备保存和加载模型

了解使用 PyTorch 跨设备（CPU 和 GPU）保存和加载模型相对简单。

基础知识

在 PyTorch 中梯度清零

了解何时应该清零梯度以及这样做如何帮助提高模型的准确性。

基础知识

PyTorch 基准测试

了解如何使用 PyTorch 的 benchmark 模块来测量和比较代码性能

基础知识

PyTorch 基准测试（快速入门）

了解如何测量代码片段运行时间并收集指令。

基础知识

PyTorch Profiler

了解如何使用 PyTorch 的 profiler 来测量算子的时间和内存消耗

基础知识

支持 Instrumentation 和 Tracing Technology API (ITT API) 的 PyTorch Profiler

了解如何将 PyTorch 的 profiler 与 Instrumentation and Tracing Technology API (ITT API) 结合使用，在 Intel® VTune™ Profiler GUI 中可视化算子标签

基础知识

Torch Compile IPEX 后端

了解如何使用 torch.compile IPEX 后端

基础知识

使用 ``torch.compiler.set_stance`` 进行动态编译控制

了解如何使用 torch.compiler.set_stance

编译器

理解 PyTorch 中的形状

了解如何使用 meta device 来理解模型中的形状。

基础知识

从检查点加载 nn.Module 的技巧

学习从检查点加载 nn.Module 的技巧。

基础知识

（测试版）使用 TORCH_LOGS 观察 torch.compile

了解如何使用 torch 日志 API 观察编译过程。

基础知识

nn.Module 中用于加载 state_dict 和张量子类的扩展点

nn.Module 中的新扩展点。

基础知识

面向 Python 运行时的 torch.export AOTInductor 教程

学习一个使用 AOTInductor 实现 Python 运行时的端到端示例。

基础知识

演示 torch.export 流程、常见挑战及解决方案

学习如何为常见用例导出模型

Compiler,TorchCompile

使用 Captum 进行模型可解释性分析

了解如何使用 Captum 将图像分类器的预测归因于相应的图像特征，并可视化归因结果。

Interpretability,Captum

如何将 TensorBoard 与 PyTorch 一起使用

学习 TensorBoard 与 PyTorch 配合使用的基本用法，以及如何在 TensorBoard UI 中可视化数据

Visualization,TensorBoard

动态量化

将动态量化应用于简单的 LSTM 模型。

Quantization,Text,Model-Optimization

用于部署的 TorchScript

了解如何将训练好的模型导出为 TorchScript 格式，以及如何在 C++ 中加载 TorchScript 模型并进行推理。

TorchScript

使用 Flask 进行部署

了解如何使用轻量级 Web 服务器 Flask，快速为训练好的 PyTorch 模型设置 Web API。

Production,TorchScript

PyTorch Mobile 性能秘籍

在使用 PyTorch for Mobile（Android 和 iOS）时进行性能优化的秘籍列表。

Mobile,Model-Optimization

制作使用 PyTorch Android 预构建库的 Android 原生应用

了解如何从零开始制作使用 LibTorch C++ API 并使用带有自定义 C++ 算子的 TorchScript 模型的 Android 应用。

Mobile

模块融合秘籍

了解如何将 PyTorch 模块列表融合成单个模块，以在量化前减小模型大小。

Mobile

Mobile 量化秘籍

了解如何在不损失太多准确性的情况下减小模型大小并使其运行更快。

Mobile,Quantization

为 Mobile 进行脚本化和优化

了解如何将模型转换为 TorchScript 并（可选地）为移动应用进行优化。

Mobile

iOS 模型准备秘籍

了解如何在 iOS 项目中添加模型并使用 PyTorch iOS Pod。

Mobile

Android 模型准备秘籍

了解如何在 Android 项目中添加模型并使用 PyTorch Android 库。

Mobile

Android 和 iOS 中的 Mobile Interpreter 工作流程

了解如何在 iOS 和 Android 设备上使用 mobile interpreter。

Mobile

对基于 PyTorch RPC 的工作负载进行性能分析

如何使用 PyTorch profiler 对基于 RPC 的工作负载进行性能分析。

生产环境

自动混合精度

使用 torch.cuda.amp 在 NVIDIA GPU 上减少运行时间并节省内存。

Model-Optimization

性能调优指南

实现最佳性能的技巧。

Model-Optimization

使用 run_cpu 脚本优化 Intel® Xeon® CPU 性能

如何使用 run_cpu 脚本获取 Intel® Xeon CPU 上的最佳运行时配置。

Model-Optimization

在 AWS Graviton 处理器上进行 PyTorch 推理性能调优

在 AWS Graviton CPU 上实现最佳推理性能的技巧

Model-Optimization

利用 Intel® Advanced Matrix Extensions

了解如何利用 Intel® Advanced Matrix Extensions。

Model-Optimization

（测试版）将 Torch Function 模式与 torch.compile 一起使用

使用 Torch Function 模式和 torch.compile 覆盖 torch 算子

Model-Optimization

（测试版）使用 torch.compile 编译优化器

使用 torch.compile 加速优化器

Model-Optimization

（测试版）使用 LR Scheduler 运行编译后的优化器

使用 LRScheduler 和 torch.compiled 优化器加速训练

Model-Optimization

（测试版）使用 foreach_map 和 torch.compile 进行显式横向融合

使用 torch.compile 横向融合逐点算子

Model-Optimization

将用户定义的 Triton Kernel 与 ``torch.compile`` 一起使用

了解如何将用户定义的 Kernel 与 ``torch.compile`` 一起使用

Model-Optimization

``torch.compile`` 中的编译时缓存

了解如何在 ``torch.compile`` 中使用编译时缓存

Model-Optimization

编译时缓存配置

了解如何在 ``torch.compile`` 中配置编译时缓存

Model-Optimization

通过区域编译减少 torch.compile 冷启动编译时间

了解如何使用区域编译控制冷启动编译时间

Model-Optimization

Intel® Extension for PyTorch*

Intel® Extension for PyTorch* 介绍

Model-Optimization

面向 PyTorch 的 Intel® Neural Compressor

使用 Intel® Neural Compressor 为 PyTorch 轻松进行量化。

Quantization,Model-Optimization

DeviceMesh 入门

了解如何使用 DeviceMesh

Distributed-Training

使用 ZeroRedundancyOptimizer 分片优化器状态

如何使用 ZeroRedundancyOptimizer 减少内存消耗。

Distributed-Training

使用 TensorPipe RPC 进行设备到设备直接通信

如何使用 RPC 进行 GPU 到 GPU 的直接通信。

Distributed-Training

支持 TorchScript 的分布式优化器

如何为分布式优化器启用 TorchScript 支持。

Distributed-Training,TorchScript

分布式检查点 (DCP) 入门

了解如何使用 Distributed Checkpoint 包对分布式模型进行检查点。

Distributed-Training

异步检查点 (DCP)

了解如何使用 Distributed Checkpoint 包对分布式模型进行检查点。

Distributed-Training

CommDebugMode 入门

了解如何为 DTensors 使用 CommDebugMode

Distributed-Training

将 PyTorch Stable Diffusion 模型作为 Vertex AI Endpoint 进行部署

了解如何使用 TorchServe 在 Vertex AI 中部署模型

生产环境

PyTorch 秘籍¶

定义神经网络

PyTorch 中的 state_dict 是什么

在 PyTorch 中保存和加载模型以进行推理

在 PyTorch 中保存和加载通用检查点

使用 PyTorch 在一个文件中保存和加载多个模型

在 PyTorch 中使用来自不同模型的参数进行模型热启动

在 PyTorch 中跨设备保存和加载模型

在 PyTorch 中梯度清零

PyTorch 基准测试

PyTorch 基准测试（快速入门）

PyTorch Profiler

支持 Instrumentation 和 Tracing Technology API (ITT API) 的 PyTorch Profiler

Torch Compile IPEX 后端

使用 ``torch.compiler.set_stance`` 进行动态编译控制

理解 PyTorch 中的形状

从检查点加载 nn.Module 的技巧

（测试版）使用 TORCH_LOGS 观察 torch.compile

nn.Module 中用于加载 state_dict 和张量子类的扩展点

面向 Python 运行时的 torch.export AOTInductor 教程

演示 torch.export 流程、常见挑战及解决方案

使用 Captum 进行模型可解释性分析

如何将 TensorBoard 与 PyTorch 一起使用

动态量化

用于部署的 TorchScript

使用 Flask 进行部署

PyTorch Mobile 性能秘籍

制作使用 PyTorch Android 预构建库的 Android 原生应用

模块融合秘籍

Mobile 量化秘籍

为 Mobile 进行脚本化和优化

iOS 模型准备秘籍

Android 模型准备秘籍

Android 和 iOS 中的 Mobile Interpreter 工作流程

对基于 PyTorch RPC 的工作负载进行性能分析

自动混合精度

性能调优指南

使用 run_cpu 脚本优化 Intel® Xeon® CPU 性能

在 AWS Graviton 处理器上进行 PyTorch 推理性能调优

利用 Intel® Advanced Matrix Extensions

（测试版）将 Torch Function 模式与 torch.compile 一起使用

（测试版）使用 torch.compile 编译优化器

（测试版）使用 LR Scheduler 运行编译后的优化器

（测试版）使用 foreach_map 和 torch.compile 进行显式横向融合

将用户定义的 Triton Kernel 与 ``torch.compile`` 一起使用

``torch.compile`` 中的编译时缓存

编译时缓存配置

通过区域编译减少 torch.compile 冷启动编译时间

Intel® Extension for PyTorch*

面向 PyTorch 的 Intel® Neural Compressor

DeviceMesh 入门

使用 ZeroRedundancyOptimizer 分片优化器状态

使用 TensorPipe RPC 进行设备到设备直接通信

支持 TorchScript 的分布式优化器

分布式检查点 (DCP) 入门

异步检查点 (DCP)

CommDebugMode 入门

将 PyTorch Stable Diffusion 模型作为 Vertex AI Endpoint 进行部署

文档

教程

资源