入门指南：在本地安装 PyTorch 或在支持的云平台上立即启动
迈向自由归一化：将归一化融合到 GEMM 和注意力核中
代码获取地址：https://github.com/facebookresearch/ads_model_kernel_library/tree/main/multi_cta_norm_fusion 和 https://github.com/facebookresearch/ads_model_kernel_library/tree/main/gdpa_megakernel 简述：在这篇博客中，我们介绍了针对 LayerNorm 和 RMSNorm 等常见归一化操作的多种新型核融合技术，这些技术提供了显著的加速效果……
阅读更多
加入 PyTorch 基金会
作为 PyTorch 基金会的成员，您将获得相关资源，从而能够参与维护稳定、安全且持久的代码库。您可以协作开展培训、本地和区域活动、开源开发者工具、学术研究，并提供指导，帮助新用户和贡献者获得富有成效的体验。
核心特性与能力
生产就绪
通过 TorchScript 在即时模式 (eager mode) 和图模式 (graph mode) 之间无缝切换，并使用 TorchServe 加速迈向生产环境的过程。
分布式训练
torch.distributed 后端支持在研究和生产环境中的可扩展分布式训练及性能优化。
强大的生态系统
丰富的工具和库生态系统扩展了 PyTorch，支持计算机视觉、NLP 等领域的开发。
云平台支持
PyTorch 在主流云平台上得到广泛支持，提供无摩擦的开发体验和便捷的扩展能力。
安装 PyTorch
选择您的配置并运行安装命令。“Stable”（稳定版）代表当前经过测试和支持的最新的 PyTorch 版本，适合大多数用户。“Preview”（预览版）适用于希望获取最新、但尚未经过全面测试和支持的每晚构建版本。请确保您已根据软件包管理器满足以下先决条件（例如 numpy）。您也可以安装以前版本的 PyTorch。注意：LibTorch 仅适用于 C++。
注意：最新的稳定版 PyTorch 需要 Python 3.10 或更高版本。
PyTorch 构建版本
您的操作系统
软件包
语言
计算平台
运行此命令
PyTorch 构建版本
稳定版 (2.7.0)
预览版 (每晚构建)
您的操作系统
Linux
Mac
Windows
软件包
Pip
LibTorch
源代码
语言
Python
C++ / Java
计算平台
CUDA 11.8
CUDA 12.6
CUDA 12.8
ROCm 6.3
CPU
运行此命令
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
云合作伙伴快速入门
通过主流云平台和机器学习服务快速使用 PyTorch 并运行起来。
生态系统
精选项目
探索丰富的库、工具及更多生态系统，以支持您的开发工作。
Captum
Captum（拉丁语意为“理解”）是一个基于 PyTorch 构建的开源、可扩展的模型可解释性库。
PyTorch Geometric
PyTorch Geometric 是一个用于处理不规则输入数据（如图形、点云和流形）的深度学习库。
skorch
skorch 是一个 PyTorch 的高级封装库，提供了与 scikit-learn 的完全兼容性。
使用 PyTorch 的公司与大学
Amazon Advertising
通过使用 PyTorch、TorchServe 和 AWS Inferentia，将推理成本降低了 71% 并实现了横向扩展。
Salesforce
推动自然语言处理 (NLP) 和多任务学习领域的前沿技术。
斯坦福大学
利用 PyTorch 的灵活性高效研究新的算法方法。