PyTorch 文档

PyTorch 是一个针对使用 GPU 和 CPU 进行深度学习的优化张量库。

本文档中描述的功能按发布状态分类

稳定版： 这些功能将长期维护，并且通常不应该存在重大的性能限制或文档缺失。我们还希望保持向后兼容性（尽管可能会发生重大更改，并且会提前一个版本发布通知）。

测试版： 这些功能被标记为测试版，因为 API 可能会根据用户反馈而更改，因为性能需要改进，或者因为运算符的覆盖范围尚不完整。对于测试版功能，我们承诺将其推进到稳定版分类。但是，我们不承诺向后兼容性。

原型： 这些功能通常不作为二进制发行版（如 PyPI 或 Conda）的一部分提供，除了有时在运行时标志后面，并且处于早期阶段以供反馈和测试。

社区

• PyTorch 治理 | 构建 + CI
• PyTorch 贡献指南
• PyTorch 设计理念
• PyTorch 治理 | 机制
• PyTorch 治理 | 维护者

开发者说明

• 自动混合精度示例
• 自动微分机制
• 广播语义
• CPU 线程和 TorchScript 推理
• CUDA 语义
• PyTorch 自定义运算符登录页面
• 分布式数据并行
• 扩展 PyTorch
• 使用 autograd.Function 扩展 torch.func
• 常见问题解答
• FSDP 说明
• Pytorch 2.4：英特尔 GPU 入门
• Gradcheck 机制
• HIP (ROCm) 语义
• 大规模部署的功能
• 模块
• MPS 后端
• 多处理最佳实践
• 数值精度
• 可复现性
• 序列化语义
• Windows 常见问题解答

语言绑定

• C++
• Javadoc
• torch::deploy

Python API

• torch
  • 张量
  • 生成器
  • 随机采样
  • 序列化
  • 并行性
  • 本地禁用梯度计算
  • 数学运算
  • 实用程序
  • 符号数
  • 导出路径
  • 控制流
  • 优化
  • 运算符标签
• torch.nn
  • 参数
  • UninitializedParameter
  • UninitializedBuffer
  • 容器
  • 卷积层
  • 池化层
  • 填充层
  • 非线性激活函数（加权和，非线性）
  • 非线性激活函数（其他）
  • 归一化层
  • 循环层
  • Transformer 层
  • 线性层
  • Dropout 层
  • 稀疏层
  • 距离函数
  • 损失函数
  • 视觉层
  • 混洗层
  • DataParallel 层（多 GPU，分布式）
  • 实用程序
  • 量化函数
  • 惰性模块初始化
• torch.nn.functional
  • 卷积函数
  • 池化函数
  • 注意力机制
  • 非线性激活函数
  • 线性函数
  • Dropout 函数
  • 稀疏函数
  • 距离函数
  • 损失函数
  • 视觉函数
  • DataParallel 函数（多 GPU，分布式）
• torch.Tensor
  • 数据类型
  • 初始化和基本操作
  • 张量类参考
• 张量属性
  • torch.dtype
  • torch.device
  • torch.layout
  • torch.memory_format
• 张量视图
• torch.amp
  • 自动转换
  • 梯度缩放
  • 自动转换运算符参考
• torch.autograd
  • torch.autograd.backward
  • torch.autograd.grad
  • 正向模式自动微分
  • 函数式高级 API
  • 本地禁用梯度计算
  • 默认梯度布局
  • 张量的原地操作
  • 变量（已弃用）
  • 张量自动微分函数
  • 函数
  • 上下文方法混入
  • 自定义函数实用程序
  • 数值梯度检查
  • 分析器
  • 调试和异常检测
  • 自动微分图
• torch.library
  • 测试自定义运算符
  • 在 Python 中创建新的自定义运算符
  • 扩展自定义运算符（从 Python 或 C++ 创建）
  • 低级 API
• torch.cpu
  • torch.cpu.current_device
  • torch.cpu.current_stream
  • torch.cpu.is_available
  • torch.cpu.synchronize
  • torch.cpu.stream
  • torch.cpu.set_device
  • torch.cpu.device_count
  • StreamContext
  • 流和事件
• torch.cuda
  • StreamContext
  • torch.cuda.can_device_access_peer
  • torch.cuda.current_blas_handle
  • torch.cuda.current_device
  • torch.cuda.current_stream
  • torch.cuda.default_stream
  • device
  • torch.cuda.device_count
  • device_of
  • torch.cuda.get_arch_list
  • torch.cuda.get_device_capability
  • torch.cuda.get_device_name
  • torch.cuda.get_device_properties
  • torch.cuda.get_gencode_flags
  • torch.cuda.get_sync_debug_mode
  • torch.cuda.init
  • torch.cuda.ipc_collect
  • torch.cuda.is_available
  • torch.cuda.is_initialized
  • torch.cuda.memory_usage
  • torch.cuda.set_device
  • torch.cuda.set_stream
  • torch.cuda.set_sync_debug_mode
  • torch.cuda.stream
  • torch.cuda.synchronize
  • torch.cuda.utilization
  • torch.cuda.temperature
  • torch.cuda.power_draw
  • torch.cuda.clock_rate
  • torch.cuda.OutOfMemoryError
  • 随机数生成器
  • 通信集合
  • 流和事件
  • 图（测试版）
  • 内存管理
  • NVIDIA 工具扩展 (NVTX)
  • Jiterator（测试版）
  • TunableOp
  • 流清理器（原型）
• 了解 CUDA 内存使用情况
• 生成快照
• 使用可视化工具
  • 活动内存时间线
  • 分配器状态历史记录
• 快照 API 参考
  • _record_memory_history()
  • _snapshot()
  • _dump_snapshot()
• torch.mps
  • torch.mps.device_count
  • torch.mps.synchronize
  • torch.mps.get_rng_state
  • torch.mps.set_rng_state
  • torch.mps.manual_seed
  • torch.mps.seed
  • torch.mps.empty_cache
  • torch.mps.set_per_process_memory_fraction
  • torch.mps.current_allocated_memory
  • torch.mps.driver_allocated_memory
  • MPS 分析器
  • MPS 事件
• torch.xpu
  • StreamContext
  • torch.xpu.current_device
  • torch.xpu.current_stream
  • device
  • torch.xpu.device_count
  • device_of
  • torch.xpu.empty_cache
  • torch.xpu.get_device_capability
  • torch.xpu.get_device_name
  • torch.xpu.get_device_properties
  • torch.xpu.init
  • torch.xpu.is_available
  • torch.xpu.is_initialized
  • torch.xpu.set_device
  • torch.xpu.set_stream
  • torch.xpu.stream
  • torch.xpu.synchronize
  • 随机数生成器
  • 流和事件
• torch.mtia
  • StreamContext
  • torch.mtia.current_device
  • torch.mtia.current_stream
  • torch.mtia.default_stream
  • torch.mtia.device_count
  • torch.mtia.init
  • torch.mtia.is_available
  • torch.mtia.is_initialized
  • torch.mtia.set_stream
  • torch.mtia.stream
  • torch.mtia.synchronize
  • device
  • torch.mtia.DeferredMtiaCallError
  • 流和事件
• 元设备
  • 使用元张量的习惯用法
• torch.backends
  • torch.backends.cpu
  • torch.backends.cuda
  • torch.backends.cudnn
  • torch.backends.mha
  • torch.backends.mps
  • torch.backends.mkl
  • torch.backends.mkldnn
  • torch.backends.nnpack
  • torch.backends.openmp
  • torch.backends.opt_einsum
  • torch.backends.xeon
• torch.export
  • 概述
  • 导出 PyTorch 模型
  • torch.export 的限制
  • 阅读更多
  • API 参考
• torch.distributed
  • 后端
  • 基础知识
  • 初始化
  • 初始化后
  • 关闭
  • 分布式键值存储
  • 组
  • 设备网格（DeviceMesh）
  • 点对点通信
  • 同步和异步集体操作
  • 集体函数
  • 分析集体通信
  • 多 GPU 集体函数
  • 第三方后端
  • 启动工具
  • 生成工具
  • 调试 torch.distributed 应用程序
  • 日志记录
• torch.distributed.algorithms.join
  • 加入
  • 可加入
  • 加入钩子
• torch.distributed.elastic
  • 开始使用
  • 文档
• torch.distributed.fsdp
  • 完全分片数据并行（FullyShardedDataParallel）
  • 反向预取（BackwardPrefetch）
  • 分片策略（ShardingStrategy）
  • 混合精度（MixedPrecision）
  • CPU 卸载（CPUOffload）
  • 状态字典配置（StateDictConfig）
  • 完整状态字典配置（FullStateDictConfig）
  • 分片状态字典配置（ShardedStateDictConfig）
  • 本地状态字典配置（LocalStateDictConfig）
  • 优化器状态字典配置（OptimStateDictConfig）
  • 完整优化器状态字典配置（FullOptimStateDictConfig）
  • 分片优化器状态字典配置（ShardedOptimStateDictConfig）
  • 本地优化器状态字典配置（LocalOptimStateDictConfig）
  • 状态字典设置（StateDictSettings）
• torch.distributed.optim
  • 分布式优化器（DistributedOptimizer）
  • 后局部 SGD 优化器（PostLocalSGDOptimizer）
  • 零冗余优化器（ZeroRedundancyOptimizer）
• torch.distributed.pipelining
  • 为什么要进行流水线并行？
  • torch.distributed.pipelining 是什么？
  • 步骤 1：构建用于执行的 PipelineStage
  • 步骤 2：使用 PipelineSchedule 进行执行
  • 模型拆分的选项
  • Hugging Face 示例
  • 技术深入探讨
  • 实现您自己的调度
  • API 参考
• torch.distributed.tensor.parallel
  • parallelize_module()
  • 列式并行（ColwiseParallel）
  • 行式并行（RowwiseParallel）
  • 序列并行（SequenceParallel）
  • 准备模块输入（PrepareModuleInput）
  • 准备模块输出（PrepareModuleOutput）
  • loss_parallel()
• torch.distributed.checkpoint
  • save()
  • async_save()
  • save_state_dict()
  • load()
  • load_state_dict()
  • 异步暂存器（AsyncStager）
  • 阻塞异步暂存器（BlockingAsyncStager）
  • 有状态（Stateful）
  • 存储读取器（StorageReader）
  • 存储写入器（StorageWriter）
  • 加载计划器（LoadPlanner）
  • 加载计划（LoadPlan）
  • 读取项（ReadItem）
  • 保存计划器（SavePlanner）
  • 保存计划（SavePlan）
  • 写入项（WriteItem）
  • 文件系统读取器（FileSystemReader）
  • 文件系统写入器（FileSystemWriter）
  • 默认保存计划器（DefaultSavePlanner）
  • 默认加载计划器（DefaultLoadPlanner）
  • get_state_dict()
  • get_model_state_dict()
  • get_optimizer_state_dict()
  • set_state_dict()
  • set_model_state_dict()
  • set_optimizer_state_dict()
  • 状态字典选项（StateDictOptions）
  • dcp_to_torch_save()
  • torch_save_to_dcp()
  • 广播 Torch 保存读取器（BroadcastingTorchSaveReader）
  • 动态元数据加载计划器（DynamicMetaLoadPlanner）
• torch.distributions
  • 得分函数
  • 路径导数
  • 分布
  • 指数族
  • 伯努利分布
  • 贝塔分布
  • 二项分布
  • 分类分布
  • 柯西分布
  • 卡方分布
  • 连续伯努利分布
  • 狄利克雷分布
  • 指数分布
  • F 分布
  • 伽马分布
  • 几何分布
  • 耿贝尔分布
  • 半柯西分布
  • 半正态分布
  • 独立分布
  • 逆伽马分布
  • 库玛拉斯瓦米分布
  • LKJ 乔里斯基分布
  • 拉普拉斯分布
  • 对数正态分布
  • 低秩多元正态分布
  • 同族混合分布
  • 多项分布
  • 多元正态分布
  • 负二项分布
  • 正态分布
  • 独热分类分布
  • 帕累托分布
  • 泊松分布
  • 松弛伯努利分布
  • 逻辑松弛伯努利分布
  • 松弛独热分类分布
  • 学生 t 分布
  • 变换分布
  • 均匀分布
  • 冯·米塞斯分布
  • 威布尔分布
  • Wishart 分布
  • KL 散度
  • 变换
  • 约束
  • 约束注册表
• torch.compiler
  • 阅读更多
• torch.fft
  • 快速傅里叶变换
  • 辅助函数
• torch.func
  • 什么是可组合函数变换？
  • 为什么要使用可组合函数变换？
  • 阅读更多
• torch.futures
  • 未来
  • collect_all()
  • wait_all()
• torch.fx
  • 概述
  • 编写变换
  • 调试
  • 符号跟踪的局限性
  • API 参考
• torch.fx.experimental
  • torch.fx.experimental.symbolic_shapes
• torch.hub
  • 发布模型
  • 从 Hub 加载模型
• torch.jit
  • TorchScript 语言参考
  • 创建 TorchScript 代码
  • 混合跟踪和脚本编写
  • TorchScript 语言
  • 内置函数和模块
  • 调试
  • 常见问题解答
  • 已知问题
  • 附录
• torch.linalg
  • 矩阵属性
  • 分解
  • 求解器
  • 逆
  • 矩阵函数
  • 矩阵乘积
  • 张量操作
  • 杂项
  • 实验函数
• torch.monitor
  • API 参考
• torch.signal
  • torch.signal.windows
• torch.special
  • 函数
• torch.overrides
  • 函数
• torch.package
  • 教程
  • 如何…
  • 解释
  • API 参考
• torch.profiler
  • 概述
  • API 参考
  • 英特尔插桩和跟踪技术 API
• torch.nn.init
  • calculate_gain()
  • uniform_()
  • normal_()
  • constant_()
  • ones_()
  • zeros_()
  • eye_()
  • dirac_()
  • xavier_uniform_()
  • xavier_normal_()
  • kaiming_uniform_()
  • kaiming_normal_()
  • trunc_normal_()
  • orthogonal_()
  • sparse_()
• torch.nn.attention
  • 工具
  • 子模块
• torch.onnx
  • 概述
  • 基于 TorchDynamo 的 ONNX 导出器
  • 基于 TorchScript 的 ONNX 导出器
  • 贡献/开发
• torch.optim
  • 如何使用优化器
  • 基类
  • 算法
  • 如何调整学习率
  • 权重平均（SWA 和 EMA）
• 复数
  • 创建复张量
  • 从旧表示转换
  • 访问实部和虚部
  • 角度和绝对值
  • 线性代数
  • 序列化
  • 自动微分
  • 优化器
• DDP 通信钩子
  • 如何使用通信钩子？
  • 通信钩子作用于什么？
  • 默认通信钩子
  • PowerSGD 通信钩子
  • 调试通信钩子
  • 通信钩子的检查点
  • 致谢
• 量化
  • 量化简介
  • 量化 API 摘要
  • 量化堆栈
  • 量化支持矩阵
  • 量化 API 参考
  • 量化后端配置
  • 量化精度调试
  • 量化自定义
  • 最佳实践
  • 常见问题解答
  • 常见错误
• 分布式 RPC 框架
  • 基础知识
  • RPC
  • RRef
  • 远程模块（RemoteModule）
  • 分布式自动微分框架
  • 分布式优化器
  • 设计说明
  • 教程
• torch.random
  • fork_rng()
  • get_rng_state()
  • initial_seed()
  • manual_seed()
  • seed()
  • set_rng_state()
• torch.masked
  • 介绍
  • 支持的运算符
• torch.nested
  • 介绍
  • 构造
  • 大小
  • 解绑
  • 嵌套张量构造函数和转换函数
  • 支持的操作
• torch.Size
  • 大小
• torch.sparse
  • 为什么以及何时使用稀疏性
  • 功能概述
  • 运算符概述
  • 稀疏半结构化张量
  • 稀疏 COO 张量
  • 稀疏压缩张量
  • 支持的操作
• torch.Storage
  • 类型化存储（TypedStorage）
  • 非类型化存储（UntypedStorage）
  • 双精度存储（DoubleStorage）
  • 单精度存储（FloatStorage）
  • 半精度存储（HalfStorage）
  • 长整型存储（LongStorage）
  • 整型存储（IntStorage）
  • 短整型存储（ShortStorage）
  • 字符存储（CharStorage）
  • 字节存储（ByteStorage）
  • 布尔存储（BoolStorage）
  • BFloat16 存储（BFloat16Storage）
  • 复数双精度存储（ComplexDoubleStorage）
  • 复数单精度存储（ComplexFloatStorage）
  • QUInt8 存储（QUInt8Storage）
  • QInt8 存储（QInt8Storage）
  • QInt32 存储（QInt32Storage）
  • QUInt4x2 存储（QUInt4x2Storage）
  • QUInt2x4 存储（QUInt2x4Storage）
• torch.testing
  • assert_close()
  • make_tensor()
  • assert_allclose()
• torch.utils
  • torch.utils.rename_privateuse1_backend
  • torch.utils.generate_methods_for_privateuse1_backend
  • torch.utils.get_cpp_backtrace
  • torch.utils.set_module
  • torch.utils.swap_tensors
• torch.utils.benchmark
  • 计时器
  • 测量
  • CallgrindStats
  • FunctionCounts
  • 比较
• torch.utils.bottleneck
• torch.utils.checkpoint
  • checkpoint()
  • checkpoint_sequential()
  • set_checkpoint_debug_enabled()
• torch.utils.cpp_extension
  • CppExtension()
  • CUDAExtension()
  • BuildExtension()
  • load()
  • load_inline()
  • include_paths()
  • get_compiler_abi_compatibility_and_version()
  • verify_ninja_availability()
  • is_ninja_available()
• torch.utils.data
  • 数据集类型
  • 数据加载顺序和 Sampler
  • 加载批处理和非批处理数据
  • 单进程和多进程数据加载
  • 内存固定
• torch.utils.deterministic
  • fill_uninitialized_memory
• torch.utils.jit
• torch.utils.dlpack
  • from_dlpack()
  • to_dlpack()
• torch.utils.mobile_optimizer
  • optimize_for_mobile()
• torch.utils.model_zoo
  • load_url()
• torch.utils.tensorboard
  • SummaryWriter
• torch.utils.module_tracker
  • ModuleTracker
• 类型信息
  • torch.finfo
  • torch.iinfo
• 命名张量
  • 创建命名张量
  • 命名维度
  • 名称传播语义
  • 按名称显式对齐
  • 操作维度
  • 自动微分支持
  • 当前支持的操作和子系统
  • 命名张量 API 参考
• 命名张量运算符覆盖范围
  • 保留输入名称
  • 删除维度
  • 统一来自输入的名称
  • 排列维度
  • 缩减维度
  • 工厂函数
  • out 函数和原地变体
• torch.__config__
  • show()
  • parallel_info()
• torch.__future__
  • set_overwrite_module_params_on_conversion()
  • get_overwrite_module_params_on_conversion()
  • set_swap_module_params_on_conversion()
  • get_swap_module_params_on_conversion()
• torch._logging
  • torch._logging.set_logs
• Torch 环境变量
  • 线程环境变量
  • CUDA 环境变量
  • 调试环境变量
  • 其他环境变量
  • torch._logging
  • PYTORCH ProcessGroupNCCL 环境变量

库

• torchaudio
• TorchData
• TorchRec
• TorchServe
• torchtext
• torchvision
• XLA 设备上的 PyTorch

索引和表格

• 索引

• 模块索引