简介 || 什么是 DDP || 单节点多 GPU 训练 || 容错 || 多节点训练 || minGPT 训练
使用 DDP 训练“真实世界”模型¶
创建于：2022 年 9 月 27 日 | 最后更新：2025 年 1 月 23 日 | 最后验证：2024 年 11 月 05 日
观看下面的视频或在 youtube 上观看。
在本视频中，我们将回顾在多节点 DDP 中训练 GPT 模型的流程。我们首先克隆 minGPT 代码库，并重构 Trainer 以使其类似于我们在本系列中使用的结构。观看视频以了解有关这些更改的详细信息。
我们使用 hydra 来集中管理我们训练运行的所有配置。代码重构完成后，我们首先在具有 4 个 GPU 的单节点上运行它，然后在 slurm 集群上运行。
用于训练的文件¶
trainer.py 包含 Trainer 类，该类在具有提供的数据集的模型上运行分布式训练迭代。
model.py 定义了模型架构。
char_dataset.py 包含字符级数据集的
Dataset类。gpt2_train_cfg.yaml 包含数据、模型、优化器和训练运行的配置。
main.py 是训练作业的入口点。它设置 DDP 进程组，读取所有配置并运行训练作业。
从云端保存和加载¶
在上面的视频中，我们将训练快照直接保存到云端。这使我们可以灵活地从任何可以访问云存储桶的节点继续训练。
何时 DDP 不够用？¶
典型的训练运行的内存占用包括模型权重、激活值、梯度、输入批次和优化器状态。由于 DDP 在每个 GPU 上复制模型，因此只有当 GPU 有足够的容量来容纳完整的占用空间时，它才有效。当模型变得更大时，更激进的技术可能很有用
激活检查点：激活值不是在正向传递期间保存中间激活值，而是在反向传递期间重新计算激活值。在这种方法中，我们运行更多的计算，但节省了内存占用。
完全分片数据并行：这里模型不是复制的，而是“分片”到所有 GPU 上，并且计算与正向和反向传递中的通信重叠。阅读我们的博客，了解我们如何使用 FSDP 训练了 1 万亿参数模型。
延伸阅读¶
使用 DDP 进行多节点训练 （本系列之前的教程）
