快捷方式

入门 || 什么是 DDP || 单节点多 GPU 训练 || 容错性 || 多节点训练 || minGPT 训练

多节点训练

创建于:2022 年 9 月 27 日 | 最后更新于:2025 年 1 月 23 日 | 最后验证于:2024 年 11 月 5 日

作者:Suraj Subramanian

您将学到什么
  • 使用 torchrun 启动多节点训练作业

  • 从单节点迁移到多节点训练时的代码修改(以及需要注意的事项)。

GitHub 上查看本教程使用的代码

前提条件
  • 熟悉多 GPU 训练torchrun

  • 2 台或更多可通过 TCP 访问的 GPU 机器(本教程使用 AWS p3.2xlarge 实例)

  • 所有机器上安装了带 CUDA 的 PyTorch

请参照下方视频或在 YouTube 上观看视频。

多节点训练涉及将训练作业部署到多台机器上。有两种方法可以实现:

  • 在每台机器上运行具有相同 rendezvous 参数的 torchrun 命令,或者

  • 使用工作负载管理器(如 SLURM)将其部署在计算集群上

在本视频中,我们将介绍从单节点多 GPU 迁移到多节点训练所需的(最少)代码修改,并以上述两种方式运行我们的训练脚本。

请注意,多节点训练的瓶颈在于节点间通信延迟。在单个节点上使用 4 个 GPU 运行训练作业将比在 4 个节点上每个节点使用 1 个 GPU 运行要快。

本地 Rank 和全局 Rank

在单节点设置中,我们跟踪运行训练进程的每个设备的 gpu_idtorchrun 在环境变量 LOCAL_RANK 中跟踪此值,该值唯一标识节点上的每个 GPU 进程。为了在所有节点上获得唯一标识符,torchrun 提供了另一个变量 RANK,它表示进程的全局 Rank。

警告

请勿在训练作业的关键逻辑中使用 RANK。当 torchrun 在故障或成员变更后重启进程时,无法保证进程会保持相同的 LOCAL_RANKRANKS

异构扩展

Torchrun 支持异构扩展,即您的每个多节点机器可以参与训练作业的 GPU 数量不同。在视频中,我在 2 台机器上部署了代码,其中一台有 4 个 GPU,另一台只使用了 2 个 GPU。

故障排除

  • 确保您的节点可以通过 TCP 相互通信。

  • 将环境变量 NCCL_DEBUG 设置为 INFO(使用 export NCCL_DEBUG=INFO)以打印详细日志,这有助于诊断问题。

  • 有时您可能需要显式设置分布式后端的网络接口(export NCCL_SOCKET_IFNAME=eth0)。在此处阅读更多相关信息。

延伸阅读


评价本教程

© 版权所有 2024, PyTorch。

使用 Sphinx 构建,主题由 Read the Docs 提供。

文档

查阅 PyTorch 的全面开发者文档

查看文档

教程

获取适合初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题解答

查看资源